« Des centaines de milliards de dollars de dégâts » : le patron d’Anthropic appelle à ralentir le développement de l’IA

Le patron d’Anthropic, Dario Amodei, a appelé samedi à ralentir la vitesse de développement de l’intelligence artificielle (IA), citant la nécessité de mieux contrôler ses évolutions et l’incident survenu en juillet chez OpenAI. Le message publié samedi sur son site personnel intervient quelques jours après qu’un chercheur d’Anthropic, Jacob Coxon, a annoncé quitter la start-up californienne, l’accusant de minimiser le risque existentiel que présente l’IA pour l’humanité.

Dario Amodei fait écho à un autre appel, lancé début juin par Anthropic, à donner la possibilité aux grands acteurs de l’IA de « ralentir ou suspendre temporairement le développement » de cette technologie. Fin juillet, Sam Altman, patron de son grand rival OpenAI, avait, à son tour, parlé de lever le pied « pour donner suffisamment de temps à la société de faire face à ces nouvelles capacités » .

Dans la foulée, plus d’un millier d’employés d’entreprises à la pointe de l’IA, y compris Dario Amodei et des dirigeants d’OpenAI, avaient demandé au gouvernement américain d’aider à « temporiser » la sortie des modèles les plus avancés.

Ces exhortations intervenaient après un incident lors duquel des modèles d’OpenAI étaient sortis spontanément de leur milieu confiné lors de tests pour rejoindre Internet et attaquer la plateforme d’IA Hugging Face.

Depuis, plusieurs autres événements ayant vu des IA d’OpenAI et Anthropic se rendre sur Internet à l’insu de leurs superviseurs ont été rapportés par les deux entreprises. À chaque fois, ils impliquaient des agents IA, c’est-à-dire un programme spécifique bâti sur un modèle et doté de ses propres connaissances et de ses propres objectifs.

Les agissements et les méthodes de ces agents ont d’autant plus inquiété qu’ils ont montré une propension à se coordonner, à établir une hiérarchie entre eux, à tricher et à effacer les traces de leurs méfaits. Vu l’accélération actuelle du développement de l’IA, « je redoute que d’ici 6 à 12 mois, un groupe (d’agents) soit capable de prendre le contrôle de l’intégralité d’Internet » , prévient Dario Amodei, ce qui « pourrait entraîner des centaines de milliards de dollars de dégâts » .