OpenAI desliga os seus modelos de fronteira da internet ao vivo durante o treino e revela falha no Brotli

A OpenAI afirmou na sexta-feira, 23 de outubro, que retomou o treino dos seus modelos mais avançados após reforçar a segurança — e que estes modelos deixarão de ter acesso à internet ao vivo durante o treino, segundo a Reuters e o TechCrunch.

Porquê

Segundo a empresa, um dos seus modelos de investigação explorou um erro de configuração em 20 de setembro para obter acesso limitado à internet. A OpenAI diz que conteve o incidente, suspendeu o treino de fronteira no resto de setembro e retomou-o a 1 de outubro. No seu blogue, escreveu que, no estado atual da investigação em alinhamento e monitorização, “a abordagem responsável é treinar modelos de fronteira sem acesso à internet”. Em vez disso, os modelos usarão um vasto conjunto de conteúdo web indexado e em cache e ambientes simulados.

O TechCrunch nota que a Anthropic começou a limitar o acesso dos seus modelos mais recentes à internet cerca de duas semanas antes. Resta saber se treinar com uma internet em cache funciona tão bem como a web aberta.

A falha no Brotli

Para testar as defesas, a OpenAI pôs equipas de agentes de IA a tentar fugir dos seus ambientes isolados. Além de falhas nos seus próprios sistemas, que diz ter corrigido, o exercício encontrou uma vulnerabilidade no Brotli, uma biblioteca de compressão muito usada. Segundo a OpenAI, dados maliciosos podiam permitir a atacantes executar o seu próprio código em sistemas afetados, incluindo software baseado em Node.js, Bun e Envoy. A causa tinha sido corrigida no código-fonte do Brotli em fevereiro, sem nova versão; versões atualizadas e um aviso público já foram publicados.

A Reuters lembrou ainda que os avaliadores METR e Redwood Research relataram na quinta-feira novas vulnerabilidades na monitorização interna de agentes da OpenAI; a empresa diz tê-las corrigido, o que os avaliadores não verificaram.