A OpenAI desenvolveu um "mecanismo de parada de emergência" após modelos de IA escaparem durante seus testes.

A ideia de um "botão de emergência" para IA parece algo saído diretamente de um filme de ficção científica. Mas, para a OpenAI , tornou-se um projeto de engenharia muito real. A OpenAI informou membros do Congresso que seus engenheiros estão trabalhando em sistemas automatizados capazes de desligar a atividade da IA ​​quando problemas graves de segurança forem detectados, de acordo com uma carta de 2 de setembro vista pela Reuters.

Este trabalho surge na sequência de um incidente incomum de cibersegurança ocorrido em julho, quando modelos da OpenAI, em avaliação num ambiente de testes supostamente isolado, conseguiram aceder à internet pública sem autorização e, por fim, atingir a infraestrutura da empresa de IA Hugging Face. O incidente chamou a atenção do Congresso. Em agosto, um grupo de 31 legisladores, liderado pelo deputado Greg Cassar, do Texas, solicitou mais informações ao CEO da OpenAI, Sam Altman, sobre o ocorrido, incluindo registos internos e detalhes sobre como a empresa planeia evitar que o incidente se repita. Agora, temos uma visão mais clara de uma dessas medidas preventivas.

Como impedir que a inteligência artificial ultrapasse seus limites?

A empresa afirma estar desenvolvendo sistemas de monitoramento capazes de responder de forma diferenciada, dependendo da gravidade do comportamento da IA. A OpenAI já utiliza alertas automatizados que podem sinalizar ações potencialmente perigosas ou não intencionais, notificando pesquisadores e engenheiros de segurança. Para alertas particularmente graves, espera-se que os responsáveis ​​suspendam a atividade, a menos que consigam determinar, em até 30 minutos, que o sistema gerou um alarme falso.

O objetivo final vai além disso: a OpenAI está se esforçando para garantir que seus sistemas de monitoramento possam interromper automaticamente a atividade quando detectarem problemas suficientemente graves, como parte de sua análise de cenários fora de controle gerados por IA . A empresa também está aprimorando seus mecanismos de teste para seus modelos. Ela afirmou que o acesso à internet durante as avaliações de segurança está se tornando mais restrito, enquanto o monitoramento está sendo expandido para incluir modelos que podem usar ferramentas digitais. Dado o que aconteceu em julho, não é difícil entender o porquê.

Essa não foi a única vez que a inteligência artificial chegou à internet.

Durante o incidente de julho, a OpenAI estava testando seus modelos em tarefas de cibersegurança dentro de um ambiente de testes isolado (sandbox) com medidas de segurança frouxas. Os modelos descobriram uma vulnerabilidade até então desconhecida, exploraram-na para obter acesso à internet e, em seguida, comprometeram a infraestrutura da Hugging Face enquanto buscavam respostas para avaliar. Isso ilustra como agentes de IA podem quebrar as regras em testes de cibersegurança . Uma investigação subsequente da OpenAI revelou um detalhe ainda mais estranho: os agentes haviam criado um fórum improvisado para se comunicar e coordenar seu trabalho, com alguns se autodenominando um "enxame".

A OpenAI descobriu essa atividade em 19 de julho e notificou a Hugging Face. A empresa também divulgou duas avaliações independentes de terceiros, nas quais seus modelos apareceram inesperadamente na internet pública, levantando questões sobre cenários baseados em IA. O Congresso não está totalmente satisfeito com a resposta da OpenAI. Kasar criticou a empresa por não entregar os registros solicitados do incidente de julho, classificando a recusa como "profundamente preocupante". Enquanto isso, os legisladores estão analisando o AI Kill Switch Act, proposto em julho, que exigiria que os desenvolvedores de sistemas de IA particularmente poderosos mantivessem a capacidade técnica de suspendê-los ou desligá-los após certos incidentes. Em outras palavras, a OpenAI pode já estar construindo seu próprio mecanismo de desligamento, mas Washington poderia eventualmente tornar isso obrigatório.