Antrópico: Pesquisadores são impedidos de usar Claude em pesquisas sobre possíveis armas biológicas.

Grandes empresas de IA vêm alertando há tempos que seus modelos podem facilitar o desenvolvimento de armas biológicas. Nesse contexto, a Anthropic revelou que já precisou suspender os serviços para um grupo de pesquisadores após suas ações levantarem sérias preocupações. Relatos indicam que novos órgãos reguladores estão monitorando o uso indevido da IA , o que reforça a importância desses alertas.

Segundo uma reportagem publicada pelo The New York Times , a Anthropic baniu diversos usuários este ano após detectar atividades que pareceram altamente suspeitas e indicativas de pesquisa de armas biológicas.

Para esclarecer: a revista Anthropic não possui confirmação conclusiva de que esses pesquisadores estivessem tentando desenvolver patógenos mortais.

A biologia avançada é inerentemente de "dupla utilização"; pesquisas que poderiam levar a uma vacina que salva vidas também poderiam ser usadas para fins perigosos. Mas a Anthropic detectou esse comportamento suspeito. Segundo relatos, os pesquisadores contornaram restrições geográficas para acessar a Nuvem e tomaram medidas para ocultar o propósito de seu trabalho. Esse padrão foi suficiente para que a Anthropic decidisse encerrar o serviço.

Como eles conseguiram burlar as medidas de segurança de Claude?

Os pesquisadores não "hackearam" Claude literalmente. Em vez disso, de acordo com a Anthropic, eles encontraram maneiras de ocultar tanto o ponto de acesso ao modelo quanto o que pretendiam alcançar.

Em um dos casos, um pesquisador teria acessado a Nuvem de uma região não suportada por meio de uma infraestrutura virtual baseada nos EUA, usando uma conta gerada automaticamente. A Anthropic também descobriu que solicitações à Nuvem estavam sendo roteadas por meio de uma plataforma que atende a diversos pesquisadores da área de ciências biológicas, incluindo virologistas afiliados a instituições civis e militares.

Os pesquisadores também tentaram ocultar o propósito de seu trabalho para evitar acionar medidas de proteção na nuvem . Isso é particularmente difícil de detectar na biologia, porque uma solicitação individual pode parecer perfeitamente legítima, mesmo contribuindo para um projeto maior e potencialmente perigoso.

Um dos casos relatados envolveu um cientista que buscou a ajuda de Claude para elaborar uma proposta de financiamento de pesquisa para modificar geneticamente o vírus chikungunya, a fim de estudar características como transmissibilidade e evasão imunológica. Esse caso ilustra como Claude pode ser utilizado para tarefas complexas, como a elaboração de propostas de pesquisa . Esse tipo de pesquisa pode ter propósitos científicos legítimos, e é exatamente por isso que a Anthropic afirmou não poder determinar se as intenções finais dos pesquisadores eram benignas ou maliciosas.

No entanto, a Anthropic decidiu que a combinação de pesquisa sensível e tentativas de ocultar atividades foi suficiente para encerrar as contas.

Por que a biologia é o teste definitivo para a inteligência artificial?

A inteligência artificial não consegue misturar substâncias químicas em uma placa de Petri nem criar armas biológicas usando equipamentos físicos de laboratório. Mas pode ser um poderoso acelerador.

Para alguém com experiência em trabalho de laboratório, um modelo de IA competente pode desvendar pesquisas complexas, analisar dados, explorar e resolver problemas e preencher lacunas técnicas especializadas. Ele pode fornecer aos humanos tudo o que precisam para tornar tarefas desafiadoras mais fáceis e rápidas.

Isso coloca as empresas de IA em uma vasta área cinzenta. Um jurista e alguém que desenvolve uma arma biológica podem levantar muitas das mesmas questões. O uso indevido não se apresenta necessariamente na forma de uma única alegação clara. Qualquer pessoa pode decompor um grande projeto em dezenas de tarefas aparentemente inócuas, tornando muito difícil para os sistemas de segurança compreenderem o panorama geral, especialmente considerando as crescentes preocupações com o uso indevido da IA.

Além disso, existe o problema dos falsos positivos. Se essas medidas de segurança forem muito rigorosas, corre-se o risco de sufocar pesquisas científicas legítimas. Se forem muito brandas, atividades potencialmente perigosas podem passar despercebidas.

Tudo depende da intenção humana.

É importante esclarecer o que não aconteceu aqui, especialmente após a renúncia de Jacob Coxon da Anthropic ontem , quando as preocupações com a IA atingiram o auge. Tememos que modelos se descontrolem ou que agentes autônomos ajam por conta própria, mas Claude não se descontrolou, e nenhum agente de IA autônomo começou a planejar uma arma biológica por conta própria. Os humanos estavam no controle.

Isso torna o perigo muito mais imediato. A preocupação aqui não é que uma IA superinteligente decida repentinamente prejudicar a humanidade. Em vez disso, é que modelos poderosos estejam dando às pessoas habilidades que elas talvez não possuíssem de outra forma.

Para usuários comuns que solicitam à nuvem a elaboração de e-mails, a sumarização de documentos ou a escrita de código, nada muda. Mas para a indústria, o cenário mudou, levando muitos a reavaliarem o uso da nuvem.

Então, o que as empresas de IA realmente podem fazer?

Não existe uma solução perfeita para esse dilema. Bloquear perguntas óbvias só funciona quando o usuário tem clareza sobre o que está tentando fazer. Se um usuário divide um projeto potencialmente perigoso em dezenas de solicitações aparentemente inofensivas, as empresas de IA precisam de mecanismos de proteção que consigam reconhecer o contexto geral, em vez de julgar cada solicitação isoladamente.

Isso pode significar procurar tentativas repetidas de contornar as limitações de segurança do modelo, monitorar padrões suspeitos nas interações e impor controles mais rigorosos às capacidades científicas mais poderosas. As empresas também poderiam testar novos modelos antes do lançamento para determinar sua capacidade de auxiliar um indivíduo menos experiente na execução de trabalhos biológicos potencialmente perigosos.

Mas cada medida de segurança adicional tem um preço. Os mesmos sistemas que tentam detectar alguém desenvolvendo uma arma biológica podem sinalizar um pesquisador trabalhando em um projeto. É por isso que a divulgação da Anthropic é tão importante. O próximo passo para a segurança da IA ​​é determinar quando um padrão de comportamento que, de outra forma, parece legítimo se torna perigoso o suficiente para que uma empresa intervenha.