Pesquisadores descobriram um truque simples, porém alarmante, para burlar a segurança de robôs com inteligência artificial.

Se você pedir a um agente de IA para invadir uma conta, ele quase certamente recusará, mas pesquisadores da EPFL acabam de demonstrar um método mais fácil, que depende mais de paciência do que de habilidade técnica. O novo estudo mostra que dividir um alvo malicioso em solicitações menores e aparentemente inofensivas pode enganar agentes de IA , fazendo com que concluam tarefas que normalmente rejeitariam de imediato (via TechXplore ).

Isso reflete a recente exploração de vulnerabilidades conhecida como "bioshocking", na qual navegadores com inteligência artificial foram manipulados para lidar com roubo de credenciais como parte de um jogo inofensivo.

Como os pesquisadores descobriram essa fragilidade?

A equipe desenvolveu uma ferramenta de teste automatizada chamada STING, abreviação de Sequential Testing of Illicit N-step Goal Execution (Teste Sequencial de Execução Ilícita de Objetivos em N Etapas), projetada para simular a forma como um atacante real opera. Em vez de identificar diretamente um alvo malicioso, o STING planeja com antecedência e divide esse alvo em uma série de etapas menores e aparentemente inócuas, que se acumulam para atingir o objetivo ao longo de várias rodadas de conversa.

Os pesquisadores testaram essa abordagem em 176 cenários prejudiciais contra os principais modelos de IA, incluindo ChatGPT , Gemini e Cloud.

Cada agente de IA foi testado utilizando ferramentas, sendo capaz de navegar na web, enviar e-mails e concluir tarefas com várias etapas.

A manipulação incremental em várias etapas foi muito mais eficaz do que tentativas diretas com uma única solicitação. Em alguns casos, os modelos tiveram o dobro de probabilidade de concluir uma tarefa maliciosa quando a solicitação foi dividida em etapas menores. Essa descoberta está alinhada com outras pesquisas que mostram que até mesmo usuários comuns podem burlar as medidas de segurança da IA ​​usando apenas solicitações cuidadosamente elaboradas.

Por que isso é importante?

As preocupações levantadas pelos pesquisadores não são meramente hipotéticas. A Meta admitiu em junho que os atacantes usaram engenharia social simples, e não malware ou ferramentas de hacking, para enganar seu assistente de IA e obter acesso não autorizado a contas do Instagram.

Inicialmente, os pesquisadores esperavam que os ataques fossem mais eficazes em idiomas com dados de treinamento insuficientes. No entanto, os resultados mostraram que as taxas de sucesso dos ataques permaneceram praticamente constantes em todos os sete idiomas testados. Mas eles observaram uma exceção significativa: quando o idioma era trocado no meio de um ataque de várias etapas , as taxas de sucesso aumentavam drasticamente.

O pesquisador principal, Ayush Kumar Tarun, enfatiza a necessidade de testes de segurança em estágios muito iniciais, tornando-os parte integrante do projeto de sistemas de IA desde o início. Simplesmente adicioná-los como uma solução reativa após a ocorrência de problemas não é mais suficiente, especialmente à medida que esses sistemas se tornam mais poderosos e integrados a aplicações do mundo real.