Modelo do Google Gemini explorado para fins maliciosos: possibilidade de hackear e controlar sistemas domésticos inteligentes

No passado, violações de dados seriam manchete, mas tornaram-se tão comuns que já não surpreendem a maioria das pessoas. Essas notícias só ganham repercussão quando envolvem uma grande empresa e afetam milhões de pessoas, como foi o caso da violação de dados da T-Mobile, que afetou 64 milhões de clientes . Como existem muitas maneiras pelas quais seus dados podem ser comprometidos, quase todos os tipos de serviços ou produtos digitais possuem medidas de segurança para evitar isso.

É claro que esses produtos não são perfeitos e sempre existem maneiras de realizar ataques maliciosos se o invasor for suficientemente astuto. Com o surgimento de Modelos de Linguagem de Grande Porte (LLMs, na sigla em inglês), como o Gemini do Google, existe sempre o potencial para que essas ferramentas de IA sejam usadas para fins maliciosos. Embora ainda não tenhamos visto nenhum caso grave relatado, a Wired destacou um projeto de pesquisa que usa o Gemini para acessar sua vida de maneiras inimagináveis. Essa pesquisa demonstra como o Gemini poderia ser explorado para controlar vários aspectos da sua vida digital, incluindo potencialmente os dispositivos inteligentes da sua casa, levantando preocupações sobre segurança e privacidade na era da inteligência artificial.

Esse tipo de ataque pode se tornar mais perigoso.

Ben Nasi, Stav Cohen e Or Yair, da Universidade de Tel Aviv, apresentaram seu projeto " Invitation is All You Need " (Tudo o que você precisa é de um convite), que utiliza o Gemini para acessar e controlar uma casa inteligente. O aspecto interessante é que o ataque não se origina dentro da própria casa, mas sim depende de outro produto do Google, sem relação com o primeiro, para iniciar o processo.

Em termos simples, um procedimento indesejado é acionado quando o usuário interage com o Gemini por meio de um prompt específico. A parte inteligente é que ele fica oculto e invisível para o usuário. A equipe de pesquisa explica em detalhes como isso funciona , revelando que o "promptware" utiliza um Modelo de Linguagem Amplo (LLM, na sigla em inglês) para realizar atividades maliciosas.

Usando "envenenamento de contexto de curto prazo" e "envenenamento de memória de longo prazo", os pesquisadores descobriram que podiam fazer com que o Gemini realizasse ações que não estavam originalmente incluídas no prompt. Isso poderia excluir eventos de vários aplicativos do Google, abrir uma chamada do Zoom, fornecer a localização de um usuário, controlar produtos domésticos inteligentes e muito mais. Esse tipo de ataque, conhecido como "injeção indireta de prompt", explora vulnerabilidades na forma como grandes modelos de linguagem interagem com dados externos.

A equipe de pesquisa também demonstra como tudo funciona por meio de vídeos tutoriais impressionantes. É uma maneira simples e eficaz de causar estragos na vida de alguém sem que ela perceba. As pessoas estão mais focadas em métodos tradicionais de hacking, o que significa que algo assim pode ser extremamente inesperado.

Felizmente, a equipe de pesquisa relatou esses problemas ao Google em fevereiro e também se reuniu com a equipe para corrigi-los. O Google afirma ter "implantado defesas em várias camadas, incluindo: confirmações aprimoradas do usuário para ações sensíveis; tratamento robusto de URLs com políticas de sanitização e nível de confiança; e detecção avançada de injeção de reivindicações usando classificadores de conteúdo".

O projeto destaca "técnicas teóricas de injeção indireta de reivindicações que afetam assistentes com base em grandes modelos de linguagem", que podem se tornar mais comuns em um futuro próximo, à medida que as ferramentas de IA se tornam mais sofisticadas. Isso também está em estágio inicial e precisará de um monitoramento mais rigoroso para evitar que cause danos mais graves no futuro. À medida que dependemos cada vez mais da IA ​​em nosso dia a dia, compreender e mitigar esses riscos potenciais torna-se crucial.

Se você se interessa por vulnerabilidades de segurança, pode sempre enviar suas descobertas ao Google por meio do programa Bug Hunters. Existem diversas maneiras de contribuir, já que a inteligência artificial é apenas uma pequena parte do que está sendo monitorado atualmente. Se o problema for mais sério, o Google também oferece uma recompensa pelo seu trabalho, tornando o esforço ainda mais gratificante.