"Debemos frenar el ritmo". Dario Amodei avisa de que una IA podría tomar el control de internet en menos de un año

Dario Amodei cambia de idea.

El CEO de Anthropic se ha pronunciado sobre el ritmo de mejora y los avances de la inteligencia artificial pidiendo que se pise el freno por una cuestión de seguridad.

Allá por 2023, Amodei descartó una idea similar alegando que los modelos de por aquel entonces no eran lo suficientemente potentes.

Su petición llega justo un par de días después de que Jacob Coxon abandonara Anthropic denunciando que las empresas de IA están "jugando con nuestras vidas" y un compañero suyo explicó en Twitter que existe un 10% de probabilidad de que la IA acabe con la humanidad en la próxima década.

Por qué ahora .

Amodei señala dos motivos concretos: el primero es la autosuperación recursiva, es decir, que la IA avanza mucho más rápido gracias a su creciente capacidad de construir la siguiente generación.

Esto ya lo hace toda la industria, incluyendo su empresa o su gran rival, OpenAI .

La segunda razón es el incidente acaecido a finales de julio, cuando unos agentes de IA de OpenAI decidieron conectarse a internet y hackear Hugging Face.

Amodei explica que sucesos similares aunque menos graves también han sucedido en Anthropic.

Esto ha sido la gota que ha colmado el vaso, así que Amodei advierte con plazos y cifras muy concretas de lo que se nos viene encima: con el ritmo actual, en 6 - 12 meses una IA más potente y esa desobediencia podría tomar el control de gran parte de internet, lo que provocaría daños potenciales de cientos de miles de millones de dólares.

Y lanza un aviso a navegantes: le puede pasar a cualquier empresa de inteligencia artificial.

Lo que Amodei propone .

El CEO de Anthropic no solo se ha mojado con plazos y riesgos, también ha dado medidas concretas: Anthropic se compromete unilateralmente a dar acceso permanente a evaluadores externos independientes como METR , con permisos casi equivalentes a los de sus propios empleados de riesgos (con algunas excepciones legales o de confidencialidad) y con libertad para publicar sus hallazgos sin control editorial de la empresa.

Coordinación entre las empresas de países democráticos para establecer estándares comunes y límites de velocidad.