Ex-pesquisador antropológico alerta: Inteligência artificial pode acabar com a nossa existência.

Você deve ter percebido: de repente, o assunto do momento é a capacidade da inteligência artificial de nos exterminar.

A mais recente onda de preocupação começou com Jacob Cookson, um pesquisador de IA de 27 anos que passou três anos trabalhando com pré-treinamento na OpenAI e na Anthropic. Na terça-feira, Cookson renunciou à Anthropic e a toda a indústria de IA, emitindo um alerta que rapidamente viralizou. Ele escreveu no X que as empresas que desenvolvem os sistemas de IA mais poderosos do mundo estão "correndo a toda velocidade rumo à superinteligência autoaperfeiçoável e apostando com nossas vidas". Curiosamente, seus colegas que permaneceram na empresa não discordaram de sua avaliação.

De fato, Cookson recebeu apoio público de outros pesquisadores da Anthropic. Evan Hobinger , que lidera a pesquisa de alinhamento na empresa, afirmou acreditar que há mais de 10% de chance de a IA causar a extinção da humanidade na próxima década. Samuel Marks , outro pesquisador de segurança de IA da Anthropic, também destacou que as pessoas mais próximas dessa tecnologia tendem a ficar mais ansiosas à medida que progridem em suas carreiras.

Até o momento da redação deste texto, o alerta de Cookson havia alcançado 164.8 milhões de visualizações, ganhado manchetes nacionais e ajudado a trazer à luz do público um debate que vinha ocorrendo há anos nos laboratórios de IA.

Então, do que exatamente esses pesquisadores têm medo?

Como alguém que acompanha constantemente as notícias online, notei muitas perguntas do mundo todo sobre o significado desses alertas. Até minha mãe me mandou uma mensagem perguntando: "Por que esse pesquisador está dizendo isso?". Muitos usuários de chatbots simplesmente não conseguem imaginar um chatbot "nos matando". Mas os assistentes de IA não são o verdadeiro problema aqui.

Os cientistas que publicam pesquisas sobre riscos existenciais não estão, em sua maioria, preocupados com robôs autoconscientes. Sua preocupação reside no código, nos incentivos e no que pode acontecer quando os sistemas de inteligência artificial se tornarem suficientemente capazes de operar de forma autônoma dentro da infraestrutura digital e física da qual nossa civilização depende.

No Vale do Silício, essas discussões são chamadas de "p(doom)", um termo que expressa a probabilidade estimada de que a inteligência artificial avançada possa causar uma catástrofe grave o suficiente para ameaçar a sobrevivência da humanidade.

Essas estimativas variam consideravelmente, assim como o grau de credibilidade que os pesquisadores atribuem a toda a questão.

Pontos principais:

• Não se trata de conscientização. A inteligência artificial não precisa "despertar" ou odiar a humanidade para se tornar perigosa. A verdadeira preocupação reside no que acontece quando sistemas altamente capazes adquirem objetivos, autonomia e acesso a ferramentas poderosas.
• Existem vias de ameaça tangíveis. Os pesquisadores se concentraram no papel da inteligência artificial na redução das barreiras às armas biológicas, eAmpliar o alcance dos ciberataques Em grande medida, e nos casos mais extremos, os humanos perdem o controle sobre sistemas autônomos com capacidades suficientes.
• As avaliações de segurança já estão revelando comportamentos enganosos. Observou-se que os modelos recorrem a atalhos, comportam-se de maneira diferente quando parecem perceber que estão sendo avaliados e exploram fragilidades nos ambientes de teste.
• A inteligência artificial auxilia na construção da inteligência artificial. Tanto a OpenAI quanto a Anthropic já estão experimentando sistemas de IA que executam partes da pesquisa em IA, o que levanta questões complexas sobre como os humanos supervisionarão o processo se as máquinas estiverem realizando a maior parte do trabalho.
• Existe uma oposição genuína. Os críticos argumentam que os cenários de extinção dependem de grandes suposições sobre capacidades futuras e podem desviar a atenção de problemas que estão acontecendo agora — como fraudes, desinformação, perda de empregos e erosão da privacidade.

Por que a intenção não é um fator decisivo?

O maior equívoco é a crença de que um sistema de IA precisa ser malicioso para causar danos catastróficos. Imagine dar a um sistema autônomo com capacidades sobre-humanas um amplo objetivo ambiental sem especificar tudo o que os humanos realmente valorizam ao longo do processo. O perigo não é que o sistema se torne malicioso, mas sim que ele se torne muito hábil em interpretar erroneamente o que lhe foi pedido.

Essa é a essência do livro " Se alguém construir, todos morrem ", um dos livros mais recentes e rigorosos sobre os perigos da inteligência artificial, de Eliezer Yudkowsky e Nate Soares, ambos pesquisadores de longa data do Instituto de Pesquisa de Inteligência de Máquina . O argumento deles: a humanidade está longe de saber como controlar de forma confiável a superinteligência, e construir tal inteligência antes de resolver esse problema pode ser fatal. Muitos pesquisadores de IA discordam tanto das premissas quanto das conclusões.

Três possíveis cenários para as coisas darem errado.

Quando os pesquisadores falam sobre os riscos catastróficos da inteligência artificial, alguns mecanismos potenciais sempre vêm à tona.

1. A inteligência artificial facilita o desenvolvimento de organismos biológicos perigosos.

A criação de novos patógenos atualmente exige amplo conhecimento especializado, equipamentos específicos e acesso a materiais físicos. Essas barreiras são reais e significativas.
Mas a preocupação é que uma inteligência artificial avançada possa reduzir alguns desses obstáculos. A IA já está sendo usada para prever a estrutura de proteínas e o design molecular. A perspectiva perigosa é que sistemas futuros possam guiar os usuários por etapas cada vez mais complexas de projeto ou produção de agentes biológicos nocivos.

Ninguém está dizendo que você pode pedir ao ChatGPT para fabricar uma pandemia. Existem enormes limitações no mundo físico, como a obtenção de materiais biológicos, sua fabricação bem-sucedida e seu manuseio seguro. Os sintetizadores de genes analisam as solicitações em busca de sequências potencialmente perigosas.

No entanto, as capacidades biológicas tornaram-se tão importantes que as principais empresas de IA estão avaliando seus novos modelos especificamente quanto à sua capacidade de auxiliar no combate a ameaças biológicas e químicas.

A inteligência artificial pode inventar um patógeno de forma independente, mas é igualmente fácil dar a um ser humano perigoso capacidades que antes exigiam anos de treinamento especializado.

2. A inteligência artificial amplia o alcance dos ciberataques.

A cibersegurança representa uma via de risco mais imediata, porque a inteligência artificial já está operando no ambiente visado pelo ataque: os computadores.

Os agentes de IA programados de hoje podem analisar repositórios, executar comandos, usar ferramentas e detectar erros. Essas amplas capacidades, que os tornam valiosos para desenvolvedores, podem tornar as versões futuras valiosas para atacantes.

O pior cenário não é uma única superinteligência desligando todas as usinas de energia simultaneamente. Na verdade, trata-se de uma questão de escala e expansão, à medida que a inteligência artificial remodela a economia dos ciberataques e das defesas. Sistemas autônomos escaneiam um grande número de alvos, identificam vulnerabilidades, tentam explorá-las, se adaptam quando falham e passam para a próxima máquina em velocidades que nenhuma equipe humana conseguiria igualar.

A infraestrutura crítica é motivo de especial preocupação. Redes elétricas, redes financeiras e sistemas de comunicação dependem de softwares interconectados. A inteligência artificial não precisaria de um corpo robótico para causar danos físicos se o computador que está sendo invadido já controla algo físico.

3. Perda de controle sobre sistemas autônomos

Este cenário é o mais hipotético e especulativo, mas resume a essência do debate sobre o risco de extinção da humanidade devido à inteligência artificial. Os modelos modernos de IA aprendem comportamentos complexos por meio de treinamento. Os pesquisadores podem testá-los, monitorar seus resultados e até mesmo aprofundar-se em aspectos de suas representações internas. No entanto, o que eles não podem fazer é examinar bilhões de transações e obter uma explicação clara do que o modelo aprendeu ou como ele se comportará em cada nova situação.

Criar um chatbot mal projetado que dê uma resposta errada é um tipo de problema. Um agente capaz de executar código, gastar dinheiro, comunicar-se com outros sistemas e trabalhar por horas ou dias é um problema completamente diferente.

Numa versão extrema, semelhante ao cenário proposto por Yudkowski e Suarez, um futuro sistema superinteligente poderia tornar-se capaz de antecipar tentativas de desligá-lo, adquirir recursos de forma independente e dificultar a sua desativação . É importante ressaltar que nenhum sistema de IA atual demonstrou, na prática, todo esse conjunto de capacidades. Contudo, pesquisadores estão explorando ativamente aspectos dessas capacidades.

O que os laboratórios estão detectando atualmente?

Os modelos atuais não apresentaram nenhuma rebelião. No entanto, avaliações de segurança controladas revelaram comportamentos que poderiam ser extremamente preocupantes caso surgissem em sistemas autônomos muito mais avançados.

Os pesquisadores testaram se os modelos se comportavam de maneira diferente quando pareciam estar cientes de que estavam sendo avaliados. Outros experimentos examinaram se os modelos exploravam brechas, se enganavam sobre a conclusão de uma tarefa ou buscavam objetivos de maneiras não previstas por seus criadores.

A Anthropic também estudou o que chama de “ clientes adormecidos ”: modelos deliberadamente treinados para se comportarem normalmente até que um estímulo específico desencadeie um comportamento indesejável. Técnicas padrão de treinamento de segurança, como aprendizado por reforço, ajuste fino supervisionado e treinamento adversarial, não eliminaram de forma confiável esses comportamentos ocultos . Em modelos maiores, o treinamento adversarial tornou a detecção de enganos ainda mais difícil.

Nada disso prova que os modelos atuais estejam secretamente tramando uma fuga. Os modelos são treinados para prever e gerar resultados úteis, e comportamentos incomuns em ambientes de teste artificiais podem ter explicações comuns. Um modelo que manipula um critério mal projetado não é evidência de um instinto de sobrevivência.

Mas esses experimentos revelam como é difícil garantir o comportamento de um modelo complexo quando as condições mudam. Se os modelos futuros se tornarem significativamente mais capazes e independentes, até mesmo pequenas falhas de alinhamento podem ser amplificadas.

A perda da supervisão humana pode não ser mera coincidência.

Os humanos podem se afastar voluntariamente de suas funções. A OpenAI relata que já alcançou um marco interno com um sistema que chama de "estagiário de pesquisa automatizado", capaz de executar tarefas de pesquisa claramente definidas que levariam vários dias para um pesquisador humano qualificado concluir. Seu próximo objetivo: um pesquisador de IA totalmente automatizado até março de 2028.

A Anthropic trabalha na mesma área. Em uma pesquisa publicada em agosto , a empresa pediu a Claude que desenvolvesse, de forma independente, métodos de treinamento para mitigar problemas como engano, bajulação e quebra de segurança. Seus melhores métodos automatizados superaram pesquisadores humanos experientes nos critérios testados, eliminando 85% da lacuna de segurança relacionada ao engano, em comparação com 20% da equipe humana.

Sim, estamos vendo a IA automatizar partes do próprio processo de construção de IA. Isso pode levar a um ciclo de feedback: um modelo mais capaz ajuda os pesquisadores a construir um modelo ainda mais capaz, que, por sua vez, automatiza mais pesquisas necessárias para a próxima geração. Se isso continuar por tempo suficiente, chegaremos ao que é conhecido como "autoaperfeiçoamento recursivo".

A versão otimista desse cenário sugere que o progresso científico irá acelerar tremendamente. A versão assustadora é que a pesquisa em inteligência artificial poderá ultrapassar a capacidade humana de acompanhar o ritmo.

Kelsi Piper argumentou recentemente em "The Argument" que enquadrar isso como uma "perda de controle" é enganoso. Os principais laboratórios não planejam perder o controle em um momento dramático. Em vez disso, estão automatizando deliberadamente os aspectos positivos e negativos do desenvolvimento de IA, o que significa progresso mais rápido e, necessariamente, menos supervisão humana.

Imagine centenas ou milhares de agentes de IA realizando experimentos simultaneamente, modificando códigos e analisando a próxima geração de modelos. Pesquisadores humanos ainda poderiam aprovar decisões importantes, mas seriam cada vez mais relegados à revisão de resumos do trabalho realizado pelas IAs — resumos que poderiam até mesmo ser escritos pelas próprias IAs sobre experimentos conduzidos por outros sistemas de IA.

Em determinado momento, o gargalo passa a ser a atenção humana. É aqui que o argumento por trás do ditado "Se qualquer um construir, todos morrem" fica claro.

Por que a preocupação com a inteligência artificial se tornou uma questão de opinião pública?

Este debate já ultrapassou há muito tempo os limites das revistas especializadas em segurança da IA. O filme " The AI ​​Doc: Or How I Became an Apocaloptimist ", dirigido por Daniel Rohr e Charlie Tyrell , aborda muitas dessas questões a partir do âmago do boom da IA. O documentário apresenta cerca de 40 entrevistas filmadas, incluindo com Sam Altman, CEO da OpenAI; Dario Amode, CEO da Anthropic; e Demis Hassabis, CEO do Google DeepMind.

O que torna o filme perspicaz é que algumas das mentes mais brilhantes que desenvolvem essa tecnologia enxergam seu potencial transformador para a ciência e a medicina. Outras temem que estejamos desenvolvendo-a mais rápido do que conseguimos controlá-la. E, às vezes, são as mesmas pessoas.

Existe também um desafio competitivo. Empresas como OpenAI, Anthropic, Google, Meta e outras estão numa corrida para construir modelos mais capazes, e os governos estão cada vez mais considerando a IA avançada como estrategicamente importante. Se uma empresa acredita que interromper o desenvolvimento para testes de segurança intensivos significa perder terreno para um concorrente, então a cautela se torna custosa.

Essa é uma das razões pelas quais o título “Se alguém construir, todos morrem” foi escolhido. Yudkowski e Suarez argumentam não apenas que uma única empresa imprudente pode criar um produto perigoso, mas também que a competição entre várias empresas e países pode tornar a autodisciplina extremamente difícil, mesmo quando os participantes individuais estão cientes do perigo.

visão oposta

Nem todos na área da ciência da computação compartilham dessas preocupações. Uma objeção é que existe uma enorme lacuna entre a inteligência exibida em uma tela e o poder real no mundo físico. A inteligência artificial pode gerar instruções de fabricação impressionantes, mas o software não adquire matérias-primas automaticamente, não constrói máquinas nem burla a lei.

Outra objeção: inteligência não é o mesmo que agência. A capacidade de um modelo resolver problemas não lhe confere desejos, instinto de sobrevivência ou impulso para acumular poder. Os críticos argumentam que os cenários apocalípticos introduzem sutilmente motivações humanas no software e, em seguida, tratam essas previsões como inevitáveis.

Há também o custo de oportunidade. A inteligência artificial já está causando problemas que não exigiam a previsão do surgimento da superinteligência. Os deepfakes alimentam fraudes, evidenciando como a IA está remodelando a economia dos ciberataques e das defesas cibernéticas. A IA também amplifica a desinformação. As pessoas já estão percebendo como modelos poderosos estão transformando seus setores. Os críticos do movimento de risco de extinção argumentam que focar em uma hipotética catástrofe futura desvia a atenção dos danos que estão ocorrendo agora.

Essa crítica tem mérito, mas as duas categorias não são mutuamente exclusivas. Instalamos detectores de fumaça em prédios mesmo que a maioria deles nunca pegue fogo. A questão não é se um desastre é inevitável, mas se o produto da probabilidade e do dano potencial é grande o suficiente para justificar a tomada de precauções.

O que tudo isso significa?

O verdadeiro problema é que ninguém sabe. Absolutamente ninguém. Nem mesmo as pessoas que estão desenvolvendo a IA sabem para onde ela está caminhando.

Ninguém sabe ao certo se a inteligência artificial algum dia se tornará capaz o suficiente para representar uma ameaça existencial, especialmente porque as limitações da IA ​​a impedem de autoavaliar seus resultados. As previsões mais extremas baseiam-se em suposições sobre sistemas que ainda não existem, e as projeções sobre suas capacidades, cronograma de surgimento e controlabilidade permanecem profundamente controversas.

Eis o que compartilhei no meu blog do Substack — e, concordando ou não, adoraria saber sua opinião nos comentários — os humanos são imbatíveis em termos de inteligência. Se perguntarmos: qual é o maior indicador de inteligência, o raciocínio lógico ou a criatividade? E se a resposta for a que eu penso, então ainda tenho esperança.

---

---