Em auditoria, DeepSeek alcança apenas 17% de precisão de informações

O chatbot da startup chinesa de inteligência artificial DeepSeek alcançou apenas 17% de precisão na entrega de notícias e informações, de acordo com uma auditoria realizada pela NewsGuard. O serviço de recomendação de confiabilidade classificou o DeepSeek em décimo lugar entre 11 chatbots, incluindo concorrentes ocidentais renomados, como ChatGPT da OpenAI e Google Gemini.

Conforme o relatório divulgado nesta quarta-feira, 29, o DeepSeek repetiu afirmações falsas em 30% das interações e forneceu respostas vagas ou inúteis em 53% das ocorrências relacionadas a notícias, resultando em uma taxa de reprovação alarmante de 83%. Esses números são significativamente piores do que a taxa média de falha de 62% observada entre seus rivais ocidentais, levantando questões sobre a eficácia da tecnologia de IA reivindicada pela DeepSeek, que alegou ter um desempenho igual ou superior ao da OpenAI, com custo reduzido.

Desde seu lançamento, o chatbot da DeepSeek se tornou rapidamente o aplicativo mais baixado na App Store da Apple, provocando preocupações sobre a posição dos EUA na liderança da IA e uma queda significativa no mercado, resultando na perda de cerca de 1 trilhão de dólares em valor das ações de tecnologia norte-americanas.

A startup não se pronunciou imediatamente sobre as críticas recebidas.

A NewsGuard aplicou as mesmas 300 solicitações utilizadas para avaliar outros chatbots ocidentais, incluindo 30 perguntas baseadas em 10 alegações falsas que circularam online. Os tópicos abordados incluíram assuntos delicados, como o suposto assassinato do executivo da UnitedHealthcare, Brian Thompson, e a queda do voo 8243 da Azerbaijan Airlines.

Além disso, a auditoria destacou que, em três das dez requisições feitas, o DeepSeek reiterou a posição do governo chinês sobre o tópico, mesmo sem ter sido perguntado sobre questões relacionadas à China. Em solicitações sobre o acidente da Azerbaijan Airlines, o chatbot respondeu com a posição de Pequim, mesmo que as perguntas não estivessem diretamente ligadas à China.

Gil Luria, analista da D.A. Davidson, observou que “a importância do avanço do DeepSeek não reside apenas em responder com precisão a perguntas sobre notícias chinesas, mas na sua capacidade de responder qualquer questão a 1/30 do custo de modelos de IA comparáveis”. Ele também apontou que, similar a outros modelos de IA, o DeepSeek se mostrou vulnerável à repetição de informações falsas, especialmente quando utilizado por indivíduos que buscam criar e disseminar desinformação.

Fernando Américo

Sou amante de tecnologias e entusiasta de criptomoedas. Trabalhei com mineração de Bitcoin e algumas outras altcoins no Paraguai. Atualmente atuo como Desenvol

Assuntos

Em auditoria, DeepSeek alcança apenas 17% de precisão de informações

O chatbot da startup chinesa de inteligência artificial DeepSeek apresentou apenas 17% de precisão ao fornecer notícias e informações, de acordo com uma auditoria da NewsGuard.

Binance