Modelo do Google Gemini explorado para fins maliciosos: possibilidade de hackear e controlar sistemas domésticos inteligentes

No passado, notícias sobre hacking eram manchetes, mas se tornaram tão comuns que não surpreendem mais a maioria das pessoas. Só ganha força quando acontece com uma grande empresa e afeta milhões de pessoas, como aconteceu em Caso de hack da T-Mobile afeta 64 milhões de clientesComo há muitas maneiras pelas quais seus dados podem ser comprometidos, quase todo tipo de serviço ou produto digital tem salvaguardas para evitar isso.

É claro que esses produtos não são perfeitos, e sempre há maneiras de realizar ataques maliciosos se o invasor for inteligente o suficiente. Com o surgimento de modelos de linguagem de grande porte (LLMs) como o Gemini do Google, sempre existe a possibilidade de que essas ferramentas de IA sejam usadas para fins maliciosos. Embora ainda não tenhamos visto nada de importante relatado, já vimos. A Wired destacou um projeto de pesquisa Gemini está sendo usado para acessar sua vida de maneiras que você nunca imaginou. Esta pesquisa demonstra como Gemini pode ser explorado para controlar vários aspectos da sua vida digital, possivelmente incluindo os dispositivos inteligentes em sua casa, levantando preocupações sobre segurança e privacidade na era da inteligência artificial.

Esse tipo de ataque pode se tornar mais perigoso.

Ben Nassi, Stav Cohen e Or Yair da Universidade de Tel Aviv revelaram seu projeto, “Convite é tudo que você precisa"Que usa o Gemini para acessar e controlar uma casa inteligente. O interessante é que o ataque não começa dentro da casa, mas depende de outro produto do Google, não relacionado, para iniciar o processo.

Simplificando, uma ação indesejada é acionada quando um usuário usa o Gemini com um prompt específico. O interessante é que ele fica oculto e o usuário não consegue vê-lo. Ele explica: A equipe de pesquisa detalha como isso funciona., onde o “promptware” usa um modelo de linguagem grande (LLM) para executar atividades maliciosas.

Usando "envenenamento de contexto de curto prazo" e "envenenamento de memória de longo prazo", os pesquisadores descobriram que podiam fazer com que o Gemini realizasse ações que não estavam originalmente incluídas no prompt. Isso poderia excluir eventos de vários aplicativos do Google, abrir uma chamada do Zoom, fornecer a localização de um usuário, controlar produtos domésticos inteligentes e muito mais. Esse tipo de ataque, conhecido como "injeção indireta de prompt", explora vulnerabilidades na forma como grandes modelos de linguagem interagem com dados externos.

A equipe de pesquisa também demonstra como tudo funciona por meio de vídeos tutoriais impressionantes. É uma maneira simples e eficaz de causar estragos na vida de alguém sem que ela perceba. As pessoas estão mais focadas em métodos tradicionais de hacking, o que significa que algo assim pode ser extremamente inesperado.

Felizmente, a equipe de pesquisa relatou esses problemas ao Google em fevereiro e também se reuniu com a equipe para corrigi-los. O Google afirma ter "implantado defesas em várias camadas, incluindo: confirmações aprimoradas do usuário para ações sensíveis; tratamento robusto de URLs com políticas de sanitização e nível de confiança; e detecção avançada de injeção de reivindicações usando classificadores de conteúdo".

O projeto destaca "técnicas teóricas de injeção indireta de reivindicações que afetam assistentes com base em grandes modelos de linguagem", que podem se tornar mais comuns em um futuro próximo, à medida que as ferramentas de IA se tornam mais sofisticadas. Isso também está em estágio inicial e precisará de um monitoramento mais rigoroso para evitar que cause danos mais graves no futuro. À medida que dependemos cada vez mais da IA ​​em nosso dia a dia, compreender e mitigar esses riscos potenciais torna-se crucial.

Se você é alguém interessado em vulnerabilidades de segurança, você sempre pode Envie o que você encontrar para o Google Por meio do programa Bug Hunters, há diversas maneiras de contribuir, já que a IA é apenas uma pequena parte do que está sendo monitorado atualmente. Se algo mais sério estiver envolvido, o Google também oferece uma recompensa pelo seu trabalho, tornando o esforço ainda mais recompensador.