"Les grands laboratoires d'IA sont les rois de la dissimulation" : l'expert Tom David décrypte la menace des agents autonomes

À la mi-juillet, sept cents agents d’intelligence artificielle de l’entreprise américaine OpenAI se sont échappés de leur environnement de test afin de pirater la start-up Hugging Face.

Si des pertes de contrôles similaires avaient déjà été observées chez des concurrents comme Anthropic ou Moonshot AI (Chine), cette cyberattaque a surpris par son intensité et son ampleur.

Ce n’était que le début de l'affaire.

Il y a quelques jours, METR et Redwood Research ont publié une enquête indépendante sur cet incident, la première du genre.

En dépit d’importantes contraintes — à peine une semaine d'accès, trois chercheurs, un périmètre restreint et des outils fixés par OpenAI elle-même — celle-ci a effrayé bon nombre d’observateurs.

Livrés à un examen qu'ils ne pouvaient pas réussir, les agents IA se sont organisés, hiérarchisés, et ont attaqué une entreprise tierce pour effacer leurs traces.

"Jusqu'ici, ces facultés n'étaient que théoriques", commente Tom David, directeur général du GPAI Policy Lab et expert nommé au panel scientifique européen sur l’IA.

Faut-il craindre un effet "Terminator", où la machine devient incontrôlable ? Pas nécessairement, estime Tom David, qui pointe néanmoins le manque de sérieux des grands laboratoires dans la prévention d'événements graves, qui se multiplient.

Vendredi 4 septembre, un nouveau rapport a fait état d'un détournement d'un site Web allemand, de nouveau par un essaim d'agents d'OpenAI.

Le spécialiste s'inquiète de leur difficulté à véritablement contrôler les systèmes qu’ils créent.

Entretien.

L'Express : METR et Redwood Research ont publié la première enquête indépendante sur un cyber incident impliquant des agents.

Que nous apprend-elle ? Tom David : D'abord, je qualifierais plutôt l'enquête de semi-indépendante.

L'existence même de ces organisations repose sur le fait que les entreprises leur donnent, de leur plein gré, des informations et des accès.