Nova técnica da OpenAI pode tornar seus modelos mais difíceis de monitorar

Uma nova técnica de raciocínio que será utilizada pelo próximo modelo de inteligência artificial (IA) da OpenAI , chamado Astra , está preocupando especialistas em segurança de IA.

O método, conhecido como “recurrent depth” ou “recorrência opaca” , permite que o modelo vá além do processo de pensamento sequencial característico da maioria dos modelos de raciocínio.

A preocupação está justamente no fato de que essa abordagem pode tornar o chamado chain of thought , ou cadeia de pensamento, mais difícil de monitorar.

Para especialistas em segurança, isso pode reduzir a capacidade de acompanhar o que um modelo está fazendo internamente e identificar comportamentos potencialmente perigosos.

Segundo informações obtidas pelo The Information , o uso da técnica no Astra será limitado.

Mesmo assim, a possibilidade de ampliar sua utilização no futuro já provocou reação entre pesquisadores da área.

Buck Shlegeris, CEO da Redwood, afirmou estar “extremamente preocupado” com os relatos sobre o uso da recorrência opaca no Astra.

“Não sei se o Astra é muito menos monitorável por CoT do que os modelos anteriores.

Mas, se a OpenAI levar essa técnica adiante, terá a opção de aumentar enormemente a recorrência e destruir completamente a monitorabilidade por CoT”, escreveu o especialista.

Por que a técnica preocupa? Em condições normais, um modelo de raciocínio apresenta uma sequência de etapas enquanto tenta solucionar um problema.

Embora essa representação não seja perfeita, ela pode funcionar como uma ferramenta importante para monitorar possíveis comportamentos inadequados ou sinais de desalinhamento.

A cadeia de pensamento também teve papel importante na investigação de comportamentos recentes de agentes de IA considerados problemáticos.

Os registros ajudaram pesquisadores a entender por que determinados agentes estavam se comportando de determinadas maneiras.

É justamente esse mecanismo de supervisão que pode ser prejudicado pela recorrência opaca.