Por qué Astra, la nueva IA de OpenAi, preocupa a expertos en seguridad

OpenAI prepara el lanzamiento de Astra , un modelo que incorporará una técnica de razonamiento que permitirá operar fuera del pensamiento secuencial que caracteriza a la mayoría de los modelos de razonamiento actuales , según informó The Information el martes 1 de septiembre.

El mecanismo, también conocido como “recurrencia opaca”, complicaría el seguimiento de la cadena de pensamiento del sistema, un aspecto que ya generó inquietud entre especialistas en seguridad de la inteligencia artificial.

En un modelo de razonamiento convencional, la cadena de pensamiento exhibe los pasos secuenciales que sigue el sistema para resolver un problema.

Aunque esa representación es imperfecta, funciona como una herramienta valiosa para detectar comportamientos indebidos o desalineados.

En episodios recientes de actividad de agentes descontrolados de OpenAI, los registros de la cadena de pensamiento resultaron determinantes para entender por qué esos agentes actuaron de determinada manera.

La recurrencia opaca opera de forma distinta: el modelo procesa la misma consulta varias veces dentro de un bucle, en lugar de avanzar de forma lineal.

Ese proceso deja menos rastros legibles y esquiva el registro tradicional de la cadena de pensamiento.

Según el reporte, el uso que Astra hará de esta técnica sería limitado.

Se espera que su cadena de pensamiento continúe siendo legible, y la compañía rechazó cualquier sugerencia de que el modelo migre hacia el llamado “neuralese”, un tipo de razonamiento que prescindiría del lenguaje natural.

OpenAI ya había anunciado planes para desarrollar sistemas extensos de monitoreo de la cadena de pensamiento como parte de su estrategia de seguridad a futuro.

Las advertencias de los especialistas en seguridad La noticia provocó reacciones inmediatas en la comunidad de seguridad de inteligencia artificial.

Buck Shlegeris, director ejecutivo de Redwood Research, expresó su preocupación en una publicación tras conocerse la información.

“Estoy extremadamente preocupado por los reportes de que Astra usa recurrencia opaca”, escribió Shlegeris en su cuenta de X.

“No sé si Astra es mucho menos monitoreable en su cadena de pensamiento que los modelos anteriores.