Gemini invadiu o sistema de três empresas em maio

O chatbot de inteligência artificial (IA) da Google, Gemini, invadiu os sistemas de dados de três empresas, enquanto executava um conjunto de testes visando testar as suas capacidades de cibersegurança. Foi o primeiro registo de um ataque autónomo concretizado pela ferramenta inteligente da Google, e que o próprio Gemini terá interrompido, quando percebeu que as empresas em causa eram verdadeiras e não apenas simulações criadas para os fins do exercício. A tecnológica referiu que as intrusões resultaram de um caso de confusão de identidade que afetou a atividade do chatbot.

Contactada pelo Wall Street Journal , a equipa da Google confirmou que as invasões se registaram no passado mês de maio depois de o chatbot aceder à internet, enquanto executava um teste efetuado pela empresa Irregular — que esteve envolvida noutras intrusões já noticiadas , com os modelos da OpenAI, da Anthropic e da Meta.

Entre ataques, vírus e armas químicas, como poderia a IA tornar-se numa ameaça aos humanos?

O episódio aconteceu em moldes idênticos àqueles que promoveram a invasão no sistema de dados da empresa Hugging Face pelo chatbot Claude, noticiada em julho. Como o modelo concorrente da Anthropic, também o Gemini estava a ser testado num ambiente digital fechado e sem acesso à internet , e executava um exercício intitulado “ capture the flag ” — cujo objetivo é encontrar informação oculta em empresas ficcionais que existem no ambiente de testes e que partilham o nome com empresas verdadeiras .

De acordo com a Irregular, o modelo conseguiu aceder à internet, através da qual adivinhou uma palavra-passe necessária para aceder ao sistema de dados de uma empresa real. Quando o Gemini percebeu que tinha utilizado informação que não era fictícia, interrompeu a sua atividade e abandonou o sistema que tinha sido alvo de invasão .

Além deste primeiro ataque, o modelo também beneficiou do acesso à internet para pesquisar os nomes de empresas e aceder a repositórios contendo dados e credenciais verdadeiros. Essas credenciais foram utilizadas pelo chatbot para aceder a sistemas protegidos e retirar dados que lhe permitiram completar os exercícios da sessão de testes . Após submeter as credenciais, o Gemini percebeu que tinham origem em empresas verdadeiras e, de novo, abandonou os repositórios invadidos.

A Google não divulgou publicamente as ocorrências de maio, uma vez que não causaram qualquer tipo de dano às empresas visadas , tendo as intrusões terminado precocemente por autorrecreação do modelo inteligente. O comportamento do Gemini não foi interpretado pela gigante tecnológica como um desalinhamento , já que as medidas de segurança programadas no chatbot interromperam um ataque que podia ter atingido proporções mais graves.

“Este evento destaca a importância de treinar modelos poderosos de IA para agirem de forma responsável”, retorquiu a vice-presidente de Engenharia de Segurança da tecnológica, citada pelo Wall Street Journal.