OpenAI retrasa el lanzamiento de Astra, su modelo de IA más potente (y peligroso)

OpenAI ha decidido retrasar el lanzamiento de Astra, su próximo modelo de IA.

A unas semanas de pausar su desarrollo, la empresa confirmó que se tomará un tiempo para reforzar la seguridad y evitar que se salga de control.

OpenAI quiere evitar otro incidente como el hackeo a Hugging Face , en donde un agente autónomo de la compañía escapó de un entorno seguro.

De acuerdo con una publicación en su blog , OpenAI confirmó que Astra es el primer modelo que clasifica dentro del umbral crítico de capacidad de ciberseguridad .

Con las herramientas y el acceso adecuados, la IA podría encontrar fallos de seguridad desconocidos y desarrollar exploits en sistemas bien protegidos .

OpenAI añadió que su modelo puede conseguirlo de forma autónoma, sin que un humano tenga que guiar cada paso.

Si bien OpenAI y Anthropic han jugado con la carta del miedo para promocionar sus modelos más potentes de IA, el caso de Astra es notable.

Antes de enfocarse en las capacidades destructivas, los creadores de ChatGPT confirmaron que este modelo no tuvo nada que ver con el hackeo de Hugging Face en julio.

Este incidente terminó marcando la agenda de seguridad de la compañía, que se dedicó a reforzar las protecciones contra acciones no autorizadas que pudiera ejecutar con su cuenta.

En ExploitBench, la prueba que evalúa la capacidad de un modelo para desarrollar exploits a partir de vulnerabilidades conocidas, Astra obtuvo una puntuación del 100%.

Para confirmar este hallazgo, OpenAI construyó un benchmark interno con 20 vulnerabilidades de alta severidad.

En esta prueba, Astra descubrió y utilizó dos vulnerabilidades de día cero dentro de una cadena de explotación, las cuales reportará OpenAI a los responsables de parchearlas.

Astra también consiguió escapar del entorno seguro y ejecutó comandos en el ordenador de su propietario.

OpenAI no quiere que Astra siga hackeando sin control Luego del hackeo a Hugging Face, OpenAI pausó el entrenamiento de Astra para reforzar su seguridad.