“Ei, @grok, isso é verdade?” Desde então Elon Musk’s A Xai lançou seu chatbot de inteligência artificial generativa Grok em novembro de 2023, e especialmente porque foi lançado para todos os usuários de não prêmio em dezembro de 2024, milhares de X (anteriormente Twitter) Os usuários fizeram essa pergunta para realizar verificações rápidas de fatos sobre as informações que vêem na plataforma.
Uma pesquisa recente realizada por uma publicação britânica de tecnologia on -line TechRadar descobriram que 27% dos americanos usaram Inteligência artificial ferramentas como o OpenAI’s ChatgptMeta Ai da Meta, Gemini do Google, copiloto da Microsoft ou aplicativos como perplexidade em vez de mecanismos de pesquisa tradicionais como Google ou Yahoo.
Mas quão precisos e confiáveis são as respostas dos chatbots? Muitas pessoas se fizeram essa pergunta diante das recentes declarações de Grok sobre ‘Genocídio Branco’ na África do Sul. Além do suporte problemático de Grok sobre o assunto, os usuários de X também ficaram irritados com o fato de o bot ter começado a falar sobre isso quando foi perguntado sobre tópicos completamente diferentes, como no exemplo a seguir:
A discussão em torno do suposto “genocídio branco” surgiu após o governo Trump trouxe sul -africanos brancos para os Estados Unidos como refugiados. Trump disse que eles estavam enfrentando um “genocídio” em sua terra natal – uma alegação que carece de qualquer prova e que muitos vêem como relacionados ao racista mito da conspiração do “grande substituto”.
Xai culpou uma “modificação não autorizada” pela obsessão de Grok pelo tópico “genocídio branco” e declarou “ter conduzido uma investigação completa”. Mas falhas como essa acontecem regularmente? Como os usuários podem obter informações confiáveis quando desejam verificar algo com a IA?
Analisamos isso e respondemos a essas perguntas para você neste Verificação de fatos DW.
Estudo mostra erros factuais e cotações alteradas
Dois estudos realizados este ano pela emissora pública britânica BBC e pelo centro de jornalismo digital nos Estados Unidos encontraram deficiências significativas quando se trata da capacidade de os chatbots generativos da IA de transmitir com precisão reportagens.
Em fevereiro, a Estudo da BBC descobriram que “as respostas produzidas pelos assistentes de IA continham imprecisões significativas e conteúdo distorcido” produzido pela organização.
Quando perguntou a ChatGPT, Copilot, Gemini e Perplexity para responder a perguntas sobre as notícias atuais usando artigos da BBC como fontes, descobriu que 51% das respostas dos chatbots tinham “questões significativas de alguma forma”.
Verificou -se que 19% das respostas adicionaram seus próprios erros factuais, enquanto 13% das cotações foram alteradas ou não estavam presentes em artigos citados.
“Atualmente, os assistentes de IA não podem ser confiados para fornecer notícias precisas e correm o risco de enganar o público”, concluiu Pete Archer, diretor generativo do programa de IA da BBC.
Respostas incorretas com “confiança alarmante”
Da mesma forma, pesquisas do Centro de Tow para jornalismo digital, publicado no Columbia Journalism Review (CJR) Em março, constatou que oito ferramentas generativas de pesquisa de IA não conseguiram identificar corretamente a proveniência dos trechos do artigo em 60% dos casos.
A perplexidade teve um melhor desempenho com uma taxa de falha de “apenas” 37%, enquanto Grok respondeu 94% das consultas incorretamente.
A CJR disse que estava particularmente preocupada com a “confiança alarmante” com a qual as ferramentas de IA apresentaram respostas incorretas, relatando: “Chatgpt identificou incorretamente 134 artigos, mas sinalizou uma falta de confiança apenas quinze vezes em suas duzentas respostas (total) e nunca se recusou a fornecer uma resposta”.
No geral, o estudo descobriu que os chatbots eram “geralmente ruins em recusar -se a responder perguntas que não podiam responder com precisão, oferecendo respostas incorretas ou especulativas” e que as ferramentas de pesquisa de IA “fabricam links e citadas versões sindicalizadas e copiadas de artigos”.
Ai chatbots são tão bons quanto sua ‘dieta’
E de onde a IA obtenha suas informações? É alimentado por fontes diferentes Como bancos de dados extensos e pesquisas na Web. Dependendo de como os chatbots da IA são treinados e programados, a qualidade e a precisão de suas respostas podem variar.
“Uma questão que surgiu recentemente é a poluição do LLMS (Nota editorial: grandes modelos de idiomas) por desinformação russa e propaganda. Então cLearly Há um problema com a ‘dieta’ do LLMS “, disse Tommaso Canetta ao DW. Ele é o vice-diretor do projeto de verificação de fatos italianos Boletim político e coordenador de verificação de fatos no Observatório Europeu de Mídia Digital (EDMO).
“Se as fontes não forem confiáveis e qualitativas, as respostas provavelmente serão do mesmo tipo”. Canetta explica que ele mesmo se depara com respostas “incompletas, não precisas, enganosas ou até falsas”.
No caso de Xai e Grok, cujo proprietário, Elon Musk, é um defensor feroz do presidente dos EUA Donald Trumphá um claro perigo de que a “dieta” possa ser controlada politicamente.
Quando a AI erra tudo errado
Em abril de 2024, a Meta AI postou em um grupo de pais de Nova York no Facebook que tinha uma criança com deficiência, mas academicamente talentosa, e ofereceu conselhos sobre educação especial.
Eventualmente, o chatbot pediu desculpas e admitiu que não tinha “experiências pessoais ou crianças”, enquanto Meta disse 404Mediaque relatou o incidente:
“Esta é uma nova tecnologia e nem sempre pode retornar a resposta que pretendemos, que é a mesma para todos os sistemas generativos de IA. Desde que lançamos, lançamos constantemente atualizações e melhorias em nossos modelos e continuamos trabalhando para melhorá -los”.
No mesmo mês, Grok interpretou mal uma piada viral sobre um jogador de basquete com pouco desempenho e disse aos usuários em sua seção de tendências que ele estava sob investigação pela polícia depois de ser acusado de vandalizar casas com tijolos em Sacramento, Califórnia.
Grok havia entendido mal a expressão comum de basquete pela qual um jogador que não conseguiu ter seus lances no alvo teria “jogando tijolos”.
Outros erros são menos divertidos. Em agosto de 2024, Grok espalhou desinformação em relação ao prazo para que os candidatos presidenciais dos EUA sejam adicionados às cédulas em nove estados federais após a retirada do ex -presidente Joe Biden da corrida.
Em um Carta pública para Elon MuskSecretário de Estado de Minnesota, Steve Simon, escreveu que, poucas horas após o anúncio do presidente Biden, Grok havia gerado manchetes falsas de que o vice -presidente Kamala Harris seria inelegível para aparecer na votação em vários estados – informações falsas.
Grok atribui a mesma imagem de IA a vários eventos reais
Não é apenas a notícia que a IA Chatbots parece ter dificuldades; Eles também exibem limitações graves quando se trata de identificar imagens geradas pela IA.
Em um experimento rápido, DW pediu a Grok para identificar a data, localização e origem de um Imagem gerada pela AI de um incêndio em um hangar de aeronave destruído retirado de um vídeo Tiktok. Em sua resposta e explicações, Grok afirmou que a imagem mostrou vários incidentes diferentes em vários locais diferentes, variando de um pequeno aeroporto em Salisbury, na Inglaterra, até o Aeroporto Internacional de Denver, no Colorado, ao Aeroporto Internacional do Son Nhat, na cidade de Ho Chi Minh, no Vietnã.
De fato, houve acidentes e incêndios nesses locais nos últimos anos, mas a imagem em questão não mostrou nenhum deles – acreditamos firmemente que foi gerada pela inteligência artificial, que Grok parecia incapaz de reconhecer, apesar de erros claros e inconsistências na imagem – incluindo barbatanas de cauda invertida em aviões e jatos ilógicos da água de mangueiras de incêndio.
Ainda mais preocupante, Grok reconheceu parte da marca d’água “Tiktok” visível no canto da imagem e sugeriu que isso “apoiou sua autenticidade”. Por outro lado, na guia “Mais detalhes”, Grok afirmou que Tiktok era “uma plataforma frequentemente usada para a rápida disseminação do conteúdo viral, o que pode levar à desinformação se não for verificada corretamente”.
Da mesma forma, apenas nesta semana, Grok informou X usuários (em português) que um vídeo viral que pretendia mostrar uma enorme anaconda na Amazônia, aparentemente medindo várias centenas de metros (mais de 500 pés) de comprimento, era real – apesar de claramente ter sido gerada por inteligência artificial, e Grok até reconhecendo uma marca de água ChatGPT.
Ai chatbots ‘não deve ser vista como ferramentas de verificação de fatos’
Ai chatbots pode aparecer como uma entidade onisciente, mas Eles não são. Eles cometem erros, entendem mal as coisas e podem até ser manipulados. Felix Simon, pesquisador de pós -doutorado em IA e associado de notícias e pesquisas digitais no The the Oxford Internet Institute (OII).
Para Canetta, a AI Chatbots pode ser útil para verificações de fatos muito simples. Mas ele também aconselha a não confiar completamente neles. Ambos os especialistas dizem que os usuários devem sempre Verifique duas respostas com outras fontes.
Daniel Ebertz contribuiu para este relatório.
Editado por: Ines Eisele, Rachel Baig
