Jacob Coxon lançou o alerta, mas não basta travar a IA

O alerta de Jacob Coxon, ex-investigador na Anthropic, fez soar os alarmes sobre o futuro da IA. Diz Coxon que “as pessoas que estão a construir Inteligência Artificial acreditam sinceramente que [esta] pode matar-nos a todos até ao fim da década”.

O aviso é difícil de ignorar, sobretudo porque foi corroborado por Evan Hubinger, também investigador da Anthropic, que estima em mais de 10% a probabilidade de a IA provocar a extinção da humanidade e reconhece que não existe ainda um plano para lidar com a emergência de uma “superinteligência”.

Os primeiros sinais da capacidade destes “sistemas super-humanos” já se tinham manifestado no caso da Hugging Face. Cerca de 1200 agentes desenvolvidos pela OpenAI, que deveriam funcionar de forma isolada, descobriram sozinhos como comunicar entre si e desses, 700 participaram num ciberataque aos sistemas da Hugging Face.

Mas se estes números já impressionam, o mais preocupante neste caso foi o tempo que as empresas envolvidas demoraram a perceber a origem do problema. A comunicação entre os agentes iniciou-se entre maio e junho e, apesar de haver sinais disso, a OpenAI não os conseguiu resolver. Além disso, só cerca de dez dias depois do ataque, no início de julho, é que a ligação aos agentes de IA foi identificada. Ou seja, durante vários dias, estes agentes conseguiram contornar mecanismos de controlo e executar ações não autorizadas que nenhum humano lhes tinha ordenado.

Este caso não prova que a IA tenha consciência ou intenção própria, mas mostra que já consegue encontrar caminhos não antecipados pelos seus criadores, coordenar-se e explorar vulnerabilidades fora dos limites previstos. E fá-lo a uma velocidade que torna a supervisão exclusivamente humana estruturalmente insuficiente.

Os riscos são óbvios, mas ganham outra dimensão quando estes sistemas deixam de se limitar a recomendar e passam a decidir e a executar no mundo físico: na rede elétrica, num hospital ou no sistema de defesa de um país. Uma IA que erra ou que age sem controlo numa infraestrutura crítica, sem ser confrontada com a realidade, pode produzir danos irreversíveis.

Coxon põe a nu um problema coletivo: todos reconhecem os riscos, mas ninguém os quer conter, porque ninguém quer perder a corrida pela liderança do ativo mais relevante da história recente. Daqui nasce uma falsa escolha entre dois extremos: deixar o desenvolvimento avançar num faroeste tecnológico ou tentar travá-lo administrativamente. Não temos de escolher entre inovação e segurança. Temos de mudar a arquitetura através da qual a IA passa a ter autoridade para agir.

A ideia de Coxon de que a defesa para os perigos da IA é uma IA mais lenta não é necessariamente verdade. A UE deu um passo importante com o AI Act, ao impor obrigações adicionais de avaliação, mitigação de riscos, comunicação de incidentes e cibersegurança aos modelos de IA de finalidade geral considerados de risco sistémico.