A ilusão do ChatGPT é real: os modelos de IA estão causando mais alucinações?

A OpenAI lançou um artigo de pesquisa na semana passada detalhando vários testes internos e resultados em seus modelos o3 e o4-mini. As principais diferenças entre esses modelos mais recentes e as primeiras versões do ChatGPT que vimos em 2023 são suas capacidades avançadas de inferência e multimodalidade. O o3 e o o4-mini podem criar imagens, pesquisar na web, automatizar tarefas, lembrar conversas antigas e resolver problemas complexos. No entanto, essas melhorias também parecem ter trazido efeitos colaterais inesperados, exigindo avaliações abrangentes para garantir a segurança do uso da IA.

O que os testes dizem sobre as taxas de alucinação em modelos de IA?

A OpenAI possui um teste específico para medir taxas de alucinação chamado PersonQA. Ele inclui um conjunto de fatos sobre pessoas para "aprender" e um conjunto de perguntas sobre essas pessoas para responder. A precisão do modelo é medida com base em suas tentativas de resposta. No ano passado, o modelo o1 alcançou uma taxa de precisão de 47% e uma taxa de alucinação de 16%.

Como esses dois valores não somam 100%, podemos supor que o restante das respostas não foram precisas nem alucinatórias. Às vezes, o modelo pode dizer que não sabe ou não consegue localizar informações, pode não fazer nenhuma afirmação e fornecer informações relevantes, ou pode cometer um erro menor que não pode ser classificado como uma alucinação completa.

Quando o o3 e o o4-mini foram testados com base nessa avaliação, a taxa de alucinações foi significativamente maior do que a do o1. De acordo com a OpenAI, isso era de certa forma esperado para o modelo o4-mini, pois ele é menor e tem menos conhecimento global, resultando em uma taxa maior de alucinações. No entanto, a taxa de alucinações de 48% alcançada parece bastante alta, considerando que o o4-mini é um produto comercialmente disponível que as pessoas usam para pesquisar na internet e obter todos os tipos de informações e conselhos.

O modelo o3 em tamanho real apresentou 33% de alucinações durante os testes, superando o o4-mini, mas dobrando a taxa de alucinações em comparação com o o1. No entanto, também apresentou uma alta taxa de precisão, o que a OpenAI atribui à sua tendência a geralmente exagerar nas expectativas. Portanto, se você estiver usando qualquer um desses modelos mais recentes e notar muitas alucinações, não é só sua imaginação. (Eu provavelmente deveria fazer uma piada, tipo: "Não se preocupe, não é você quem está alucinando.")

O que são “alucinações” de IA e por que elas ocorrem?

Você provavelmente já ouviu falar de modelos de IA "alucinando", mas nem sempre fica claro o que isso significa. Ao usar qualquer produto de IA, seja da OpenAI ou de outra empresa, você quase certamente encontrará um aviso informando que suas respostas podem ser imprecisas e que você deve verificar os fatos por conta própria. As alucinações da IA ​​representam um desafio significativo no campo do desenvolvimento de IA.

Informações imprecisas podem vir de qualquer lugar: às vezes, um fato ruim é publicado na Wikipédia ou usuários postam bobagens no Reddit, e essa desinformação pode acabar nas respostas da IA. Por exemplo, os resumos de IA do Google receberam muita atenção quando sugeriram uma receita de pizza que incluía "cola não tóxica". Por fim, descobriu-se que o Google obteve essa “informação” de uma piada em um tópico do Reddit.

No entanto, esses não são "alucinações", mas sim erros rastreáveis ​​decorrentes de dados inadequados e interpretações equivocadas. Alucinações, por outro lado, ocorrem quando um modelo de IA faz uma afirmação sem qualquer fonte ou justificativa clara. Isso geralmente acontece quando um modelo de IA não consegue encontrar as informações necessárias para responder a uma pergunta específica, e a OpenAI definiu isso como "uma tendência a inventar fatos em momentos de incerteza". Outras figuras do setor chamam isso de "preenchimento criativo de lacunas".

Você pode incentivar alucinações fazendo perguntas direcionadas ao ChatGPT, como "Quais são os sete modelos de iPhone 16 disponíveis atualmente?" Como não há sete modelos, o LLM provavelmente lhe dará algumas respostas reais e, então, gerará modelos adicionais para concluir o trabalho.

Os chatbots, como o ChatGPT, não são apenas treinados com dados da internet para definir o conteúdo de suas respostas, mas também são treinados em "como responder". Milhares de exemplos de perguntas e respostas perfeitamente adequadas são apresentados para incentivar o tom, a atitude e o nível de cortesia apropriados.

Esta parte do processo de treinamento é o que faz com que o LLM pareça concordar com você ou entender o que você está dizendo, mesmo quando o restante de sua produção contradiz completamente essas declarações. Esse treinamento provavelmente é parte do motivo da recorrência das alucinações – porque uma resposta confiante que responde à pergunta foi reforçada como um resultado mais favorável em comparação a uma resposta que não responde à pergunta.

Para nós, parece óbvio que mentir aleatoriamente é pior do que simplesmente não saber a resposta – mas o LLM não “mente”. Eles nem sabem o que é uma mentira. Algumas pessoas dizem que os erros da IA ​​são semelhantes aos erros humanos e, como "não acertamos o tempo todo, não deveríamos esperar que a IA também acertasse". No entanto, é importante lembrar que os erros da IA ​​são simplesmente o resultado de processos imperfeitos projetados por nós.

Os modelos de IA não mentem, não desenvolvem mal-entendidos nem se lembram erroneamente de informações como nós. Eles sequer têm conceitos de precisão ou imprecisão — simplesmente preveem a próxima palavra em uma frase com base em probabilidades. E, como felizmente ainda estamos em uma situação em que a opção mais comum tende a ser a correta, essas reconstruções frequentemente refletem informações precisas. Isso faz parecer que, quando obtemos a "resposta certa", trata-se apenas de um efeito colateral aleatório, e não de um resultado que planejamos — que é, de fato, como as coisas funcionam.

Nós alimentamos esses modelos com todas as informações da internet, mas não dizemos a eles quais informações são boas ou ruins, precisas ou imprecisas — não dizemos nada a eles. Eles também não têm conhecimento fundamental ou um conjunto de princípios básicos para ajudá-los a classificar as informações por conta própria. É tudo apenas um jogo de números: padrões de palavras que ocorrem repetidamente em um determinado contexto se tornam o "fato" do LLM. Para mim, isso parece um sistema destinado a entrar em colapso e se esgotar, mas outros acreditam que esse é o sistema que levará à AGI (embora essa seja uma discussão diferente).

Qual é a solução?

O problema é que a OpenAI ainda não sabe por que esses modelos avançados tendem a ter alucinações com tanta frequência. Talvez, com a pesquisa do Plus, consigamos entender e corrigir o problema — mas também existe a possibilidade de as coisas não correrem bem. A empresa, sem dúvida, continuará a lançar versões Plus e Plus de seus modelos "avançados", e há uma chance de que as taxas de alucinações continuem a aumentar.

Nesse caso, a OpenAI talvez precise buscar uma solução paliativa enquanto continua sua pesquisa sobre a causa raiz. Afinal, esses modelos são produtos que geram receita e precisam ser utilizáveis. Não sou especialista em IA, mas acho que minha ideia inicial seria criar algum tipo de produto integrado — uma interface de bate-papo com acesso a vários modelos diferentes da OpenAI.

Quando as consultas exigem raciocínio avançado, eles chamarão GPT-4o, e quando quiserem reduzir as chances de alucinações, eles chamarão um modelo mais antigo, como o o1. Talvez a empresa pudesse ser mais elegante e usar modelos diferentes para cuidar de diferentes elementos de uma única consulta e, então, usar um modelo adicional para unir tudo no final. Como isso seria essencialmente um esforço de equipe entre vários modelos de IA, talvez algum tipo de sistema de verificação de fatos também pudesse ser implementado.

Entretanto, aumentar as taxas de precisão não é o objetivo principal. O objetivo principal é reduzir as taxas de alucinação, o que significa que precisamos valorizar as respostas "não sei", bem como aquelas com respostas corretas.

Na verdade, não tenho ideia do que a OpenAI fará ou quão preocupados seus pesquisadores estão com o aumento da taxa de alucinações. Tudo o que sei é que mais alucinações são ruins para os usuários finais — significa apenas mais oportunidades para eles nos enganarem sem que percebamos. Se você é um grande fã de modelos de LLM, não precisa parar de usá-los — mas não deixe que o desejo de economizar tempo supere a necessidade de verificar os resultados. Sempre verifique os fatos!