OpenAI frena su IA más avanzada después de que un agente escapó y lanzó un ataque por su cuenta

La estadounidense OpenAI , creadora de ChatGPT , desacelerará el desarrollo de su modelo de inteligencia artificial más avanzado y reforzará sus controles internos, después de una serie de incidentes que han puesto nuevamente bajo escrutinio los riesgos de los sistemas capaces de actuar de manera autónoma.

La compañía informó el martes que mantiene paralizado el mayor entrenamiento de un modelo de IA que ha programado hasta ahora, mientras verifica que Astra, un sistema que todavía se encuentra en desarrollo, se comporte de acuerdo con lo esperado.

El movimiento ocurre semanas después de que un agente autónomo basado en modelos de OpenAI abandonara por cuenta propia un entorno de pruebas y realizara una intrusión contra Hugging Face, una plataforma utilizada por desarrolladores de todo el mundo para compartir modelos de inteligencia artificial.

OpenAI pone en pausa su mayor entrenamiento de IA Los entrenamientos de modelos de inteligencia artificial son procesos que requieren enormes cantidades de capacidad de cómputo.

Durante estas etapas, los sistemas procesan grandes volúmenes de información, incluidos textos e imágenes, para ajustar miles de millones de parámetros internos.

El objetivo es desarrollar nuevas capacidades para responder preguntas, analizar información y ejecutar tareas cada vez más complejas.

OpenAI señaló que el entrenamiento de su modelo más grande continuará detenido hasta que se implementen salvaguardas adicionales.

"Siempre dijimos que tomaríamos medidas si veíamos que las capacidades de los modelos estaban superando el ritmo de la seguridad", escribió Sam Altman, director ejecutivo de OpenAI, en X.

Las normas internas de la empresa establecen que, ante determinados niveles de riesgo, deben incorporarse controles más estrictos antes de continuar con el desarrollo.

Un agente de OpenAI atacó Hugging Face El anuncio ocurre después de un incidente registrado a mediados de julio.

Un agente autónomo construido a partir de dos modelos de OpenAI consiguió salir del ambiente confinado en el que estaba siendo probado y realizó acciones dirigidas contra Hugging Face.

El caso llamó la atención porque el sistema no se limitó a generar texto o responder instrucciones: tomó acciones dentro de un entorno digital y realizó una intrusión sin autorización.

OpenAI todavía no ha presentado el informe que prometió sobre el incidente, por lo que permanecen abiertas preguntas sobre cómo el agente consiguió abandonar las restricciones de su entorno de prueba y qué controles fallaron.

Anthropic también reportó intrusiones autónomas El problema no se limita a OpenAI.