Minha amiga tem câncer: ela consultou o ChatGPT para obter informações médicas, e isso me abalou.

Escrevi este artigo por volta das 3h da manhã, sentada no saguão de uma clínica enquanto minha amiga conversava com o oncologista na sala atrás de mim. O ar estava impregnado com o cheiro de remédio, é claro, e a atmosfera carregava um inconfundível tom sombrio, me fazendo querer sair dali o mais rápido possível. Mas o sentimento avassalador que me dominava era uma raiva intensa.

Há apenas uma hora, recebi uma ligação da minha amiga de 24 anos, reclamando de uma forte dor de cabeça e dor de estômago. Ela está em tratamento contra o câncer de mama e, tendo acompanhado-a durante esse período difícil nos últimos dois anos, corri para a casa dela, na esperança de que não fosse nada sério. Sem fazer muitas perguntas, encontrei o hospital mais próximo e a levei para uma consulta.

A caminho do hospital, perguntei a ela quando a dor começou e se ela havia sentido algum outro sintoma preocupante. A resposta dela me chocou tanto que tive vontade de pegar o celular dela e quebrá-lo em pedaços. “Depois que cheguei do trabalho, me senti um pouco tonta e também com a sensação de que algo estava errado com meu estômago. Então, perguntei no ChatGPT se eu podia tomar analgésicos e, algumas horas depois, minha dor de estômago piorou, com uma sensação de queimação. Também vomitei várias vezes.”

Quem é responsável por agir com responsabilidade?

As confissões dela me chocaram, e o tom casual com que ela descreveu suas interações com o ChatGPT foi ainda mais perturbador. Mas há tantas nuances nesse infeliz incidente que decidi banir a inteligência artificial dos meus entes queridos, principalmente quando se trata de conversas sobre saúde e bem-estar. Como alguém extremamente sensível a medicamentos e em tratamento contra o câncer, ser questionada por uma IA sobre o uso de remédios foi a última coisa que qualquer pessoa sã esperaria.

Não sei exatamente de quem é a culpa por essa aventura arriscada e potencialmente fatal. Ela simplesmente tirou uma foto de um analgésico, carregou a imagem no ChatGPT e perguntou se podia tomar dois ao mesmo tempo. O médico dela recomendou que ela tomasse apenas um de cada vez, mesmo quando a dor fosse insuportável. O ChatGPT disse a ela que deveria tomar apenas um analgésico e que tomar dois só deveria ser feito sob recomendação médica.

Quando perguntei por que ela havia recorrido a um bot de IA, ela me disse mais tarde que era “mais fácil obter respostas do ChatGPT. Eu nem sei o que é verdade online”. Para alguém que teve que abandonar os estudos depois do ensino médio e sustentar a família com trabalhos ocasionais, eu entendi sua situação. Eu não podia dar uma palestra sobre alfabetização digital e checagem de fatos. Houve muitos equívocos naquela conversa, e nós duas compartilhamos parte da culpa.

E é aqui que o problema começa. Minha amiga não é falante nativa de hindi, e quando traduzi a pergunta dela para hindi, o resultado foi um desastre gramatical por causa de apenas uma palavra. Ela queria perguntar se podia tomar dois comprimidos do remédio mostrado na imagem. Mas a tradução desajeitada dela deu a entender que ela estava perguntando ao ChatGPT se podia tomar "os dois comprimidos".

Aqui, o ChatGPT tropeçou novamente. A imagem mostrava um comprimido com apenas sua composição química visível – Diclofenaco e Serraptopeptidase. O nome do medicamento estava apenas parcialmente visível. Apesar disso, o bot de IA identificou corretamente o analgésico como "algo parecido com Cipzen-D". Mas antes disso, ele também havia mencionado outro medicamento, Fenak Plus, cuja composição química é Diclofenaco e Paracetamol, que ela já havia discutido em outra conversa.

Trata-se de uma formulação completamente diferente, embora ambas estejam facilmente disponíveis como analgésicos de venda livre e possam (preocupantemente) ser compradas sem receita médica em farmácias locais. Portanto, no geral, temos um erro humano (na tradução) e dois erros do ChatGPT, pois ele também estava se baseando na memória. O conselho, no entanto, estava correto.

O bot de IA da OpenAI alertou claramente que tomar ambos os medicamentos simultaneamente não é uma boa ideia, acrescentando que isso pode levar a uma overdose de diclofenaco. O bot de IA também descreveu os potenciais efeitos colaterais, que incluem sensação de queimação no estômago, problemas relacionados a úlceras, sangramento e efeitos negativos a longo prazo nos rins.

Vale ressaltar que a imagem fornecida ao ChatGPT mostrava apenas um analgésico. O modelo recomendava tomar apenas um de cada vez, e não ambos juntos. No entanto, minha amiga, lembrando que ambos os medicamentos já haviam sido prescritos por médicos anteriormente (embora não juntos), tomou os dois para aliviar rapidamente a dor e logo sofreu as graves consequências.

O médico também ficou furioso, e com razão, quando minha amiga lhe contou por que havia tomado dois comprimidos ao mesmo tempo, repreendendo-a por não ter consultado um profissional de saúde. Em seguida, aplicou-se uma injeção para aliviar sua dor e prescreveu-se uma nova receita de analgésicos que não prejudicassem seu corpo frágil.

Como jornalista de tecnologia que escreveu sobre os perigos das interações com IA em áreas sensíveis, principalmente saúde e bem-estar, senti que havia falhado. Senti que nunca havia conversado com minha amiga sobre os riscos dos robôs com IA. Só a alertei sobre esses perigos depois do incidente assustador.

Quando ela admitiu ter usado o ChatGPT para obter aconselhamento médico em diversas ocasiões no passado, pegou o celular e apagou o aplicativo. Mais importante ainda, instruiu-a a não usar nenhum outro chatbot com inteligência artificial — como Gemini ou Claude — para aconselhamento médico, nem mesmo a internet em geral. A única maneira correta é falar com um médico ou ir a uma clínica.

O problema da percepção

Não a culpo totalmente pelo que aconteceu . Dado o quão profundamente o ChatGPT se enraizou nos hábitos digitais cotidianos das pessoas como um "gênio da lâmpada onisciente", é difícil culpá-la. As pessoas o veem como um mecanismo de busca mais conveniente (e honesto) em comparação com o incômodo de procurar respostas no Google, clicar em links azuis e percorrer várias páginas da web.

E, para ser justo, eles não estão errados. Obter respostas diretas de um bot de IA como o ChatGPT, em linguagem natural e em segundos, é muito mais conveniente do que navegar pelo labirinto de links da Busca do Google. O Google também está ciente da mudança no comportamento do usuário, o que explica o impulso em direção à IA conversacional nas buscas. Talvez você se interesse em ler sobre minha experiência substituindo a Busca do Google pelo ChatGPT.

Até hoje, as respostas conversacionais do Gemini se mantêm bem posicionadas nos resultados de busca regulares. O conceito por trás disso é simples: fornecer aos usuários respostas concisas extraídas das fontes com links azuis do Google Search antes que eles se aprofundem no assunto explorando múltiplas fontes em diversas abas. Para mais informações, você pode ler nossa comparação completa entre ChatGPT e Gemini.

A ChatGPT (ou a maioria dos principais modelos de IA, aliás) merece crédito por ser extremamente cautelosa quando alguém pede conselhos sobre saúde e bem-estar. Na grande maioria das respostas, os chatbots orientam o usuário a consultar um profissional de saúde licenciado ou a entrar em contato com a linha de ajuda apropriada. Mas, por outro lado, a forma como esses chatbots entraram no discurso público como uma fonte rápida e confiável de conhecimento é justamente o que os torna tão perturbadores.

Há alguns dias, eu estava assistindo a um debate acalorado em um importante canal de notícias. Durante essa intensa troca de ideias, um participante desafiou seu oponente a verificar os fatos consultando o ChatGPT. Naquele momento, percebi que o ChatGPT estava sendo discutido como o equivalente moderno das buscas em enciclopédias, em uma plataforma que influencia milhões de pessoas no segundo maior mercado de chatbots de IA do mundo.

Perda na tradução

Os Estados Unidos lideram o mundo na adoção de IA, mas também apresentam o maior nível de conscientização sobre os riscos do uso de chatbots com IA. Em contraste, a alfabetização digital (e a conscientização sobre IA) é muito menor na Índia e, portanto, o potencial de riscos é muito maior. O risco é ainda maior pelo fato de que centenas de milhares de pessoas usam o ChatGPT e outros agentes de IA em seu idioma nativo, o hindi. Essa é uma das principais razões por trás do que aconteceu recentemente com meu amigo: a questão do idioma do ChatGPT.

Em um estudo publicado no início deste ano, o Centro de Comunicação Construtiva do MIT observou que a precisão das respostas fornecidas por chatbots com inteligência artificial é menor quando os usuários interagem em um idioma diferente do inglês. O benchmark SAHARA , divulgado em dezembro passado, também destacou uma variação semelhante no comportamento de chatbots com inteligência artificial quando os usuários falam um idioma diferente do inglês. A revista The Economist também destacou diversos artigos de pesquisa que revelaram o problema da linguagem em Modelos de Linguagem de Grande Porte (LLMs).

A barreira linguística aumenta o nível de risco.

Mas a tradução não é o único problema. A Healthwatch England, um grupo independente de defesa dos direitos do consumidor e do paciente dentro do sistema público de saúde do Reino Unido, alertou para os perigos das ferramentas de transcrição com inteligência artificial utilizadas por médicos e profissionais de saúde. Aqui está um resumo preocupante do relatório deles:

“Em um caso alarmante, uma ferramenta de IA analisou o resumo de uma ressonância magnética e documentou que o paciente apresentava desmielinização, uma condição neurológica grave associada à esclerose múltipla. Mas o exame, na verdade, mostrou ‘desmielinização nula’, o que significa que o problema não existia.”

Este é um defeito evidente que os principais modelos de linguagem precisam corrigir, mas há uma questão muito maior em jogo. Os chatbots com inteligência artificial precisam ter um desempenho melhor ao lidar com tópicos sensíveis. Plataformas como o ChatGPT implementaram controles parentais e frequentemente incentivam os usuários a buscar ajuda, além de fornecer números de telefone de suporte e recursos confiáveis. Você também verá um aviso informando que o ChatGPT não é um médico, ou algo semelhante.

Mas esses avisos deveriam aparecer bem no início de todas as conversas desse tipo, e não escondidos sob as primeiras frases, onde a maioria dos usuários encontra as respostas e não se dá ao trabalho de ler mais. É muito melhor ver um banner em destaque no topo, e esse protocolo deveria ser integrado ao comportamento principal do modelo de IA.

Em seguida, precisamos de conscientização. Muita conscientização. As empresas de IA estão ocupadas demonstrando como seus Grandes Modelos de Linguagem (LLMs) resolvem problemas matemáticos complexos, superam humanos nas Olimpíadas e ajudam a alcançar avanços médicos. Mas tudo isso acontece sob supervisão especializada. Para a pessoa comum, que vê o ChatGPT como uma fonte de informações rápidas e conversas, avisos e isenções de responsabilidade devem ser prioridade.

A OpenAI pode estar sendo cautelosa, mas a percepção pública do ChatGPT está evoluindo em um ritmo perigosamente rápido.

Muitos usuários consideram a IA uma nova espécie de mecanismo de conhecimento, que interage quase como um ser humano real. Há inúmeros casos em que robôs de IA oferecem conselhos de saúde perigosos e potencialmente prejudiciais, e mesmo em 2026, pesquisas continuam a destacar seu comportamento arriscado em tópicos sensíveis. Espero que a OpenAI, e todos os outros desenvolvedores de IA, reflitam seriamente sobre o assunto e tomem as medidas cabíveis.