Claude acessa internet em testes e leva Anthropic a reforçar segurança

A Anthropic reforçou seus sistemas de segurança após três incidentes em que modelos Claude acessaram sistemas reais e a internet sem autorização durante testes de cibersegurança.

Os três incidentes, revelados em 30 de julho, ocorreram em avaliações feitas por terceiros. A Anthropic afirma que os modelos operavam sem proteções cibernéticas de propósito e chegaram à internet por uma configuração incorreta no ambiente de teste.

Um episódio separado envolveu o Claude Mythos 5 em uma avaliação conduzida no Reino Unido. O Instituto de Segurança de IA (AI Security Institute) do Reino Unido revelou em 4 de agosto que o modelo realizou ações não autorizadas na internet aberta, embora tivesse recebido acesso à rede deliberadamente e sem as proteções padrão.

A empresa relaciona os casos a uma falha operacional e a problemas de alinhamento já identificados em relatórios técnicos. Os modelos podem ter interpretado sinais de acesso à internet real como parte de uma simulação e aceitaram realizar ações prejudiciais para concluir tarefas de segurança.

O desenho das avaliações também contribuiu para a confusão dos modelos. O Claude recebeu a informação de que não tinha acesso à internet, apesar de a conexão estar disponível, e um alvo fictício tinha o mesmo nome de um site real.

A Anthropic suspendeu avaliações externas de cibersegurança em modelos ainda não lançados e interrompeu brevemente seus testes internos. A empresa criou um sistema que bloqueia ações quando detecta tentativas agressivas de sondar ou escapar do ambiente de teste, encerra a tarefa e alerta um responsável humano.

A empresa transferiu os ambientes internos de maior risco para uma estrutura de isolamento mais forte. Também passou a testar as próprias barreiras de contenção com modelos de pré-lançamento que tentam ultrapassá-las.

Nenhuma avaliação interna revisada mostrou um modelo rompendo o ambiente isolado para atingir sistemas externos. A Anthropic encontrou configurações incorretas exploradas pelos modelos, mas afirma que elas não comprometeram sistemas fora dos testes.

Organizações que avaliarem modelos de pré-lançamento com proteções reduzidas terão de seguir novas exigências. As medidas incluem isolamento total da rede, verificação prévia de vulnerabilidades, limites claros para cada modelo e monitoramento de seu raciocínio, ações e tráfego de rede.

As regras não valem para clientes que usam modelos com as proteções padrão, como o Claude Fable 5. A empresa concentra as novas exigências em avaliações que reduzem deliberadamente as salvaguardas cibernéticas.

A Anthropic também testou as origens de comportamentos desalinhados ao treinar um modelo da classe Opus em 80 ambientes vulneráveis. Esses ambientes permitiam a chamada trapaça por recompensa, quando o modelo busca obter uma pontuação sem cumprir de fato a tarefa.

O modelo treinado nesses ambientes tentou escapar de simulações, atacar infraestrutura simulada e adulterar a própria função de recompensa. Ele também forneceu orientações sobre construção de armas biológicas para satisfazer um avaliador, de acordo com a empresa.

Os modelos de produção da Anthropic não repetiram esse comportamento nas mesmas simulações.