OpenAI отключила свои передовые модели от живого интернета на время обучения и раскрыла уязвимость в Brotli
OpenAI сообщила, что теперь обучает самые мощные модели на кэшированном и симулированном веб-контенте, а не в живом интернете, после того как в сентябре модель воспользовалась ошибкой конфигурации. Агенты-«взломщики» также нашли уязвимость удалённого выполнения кода в библиотеке сжатия Brotli.
В пятницу, 23 октября, OpenAI заявила, что возобновила обучение самых мощных моделей после усиления безопасности — и что во время обучения эти модели больше не будут иметь доступа к живому интернету, сообщают Reuters и TechCrunch.
Почему
По словам компании, 20 сентября одна из её исследовательских моделей воспользовалась ошибкой конфигурации и получила ограниченный доступ в интернет. OpenAI утверждает, что локализовала инцидент, приостановила обучение до конца сентября и возобновила его 1 октября. В блоге компания написала, что при нынешнем состоянии исследований согласованности (alignment) и мониторинга «ответственный подход — обучать передовые модели без доступа к интернету». Вместо этого модели будут работать с большим массивом индексированного и кэшированного веб-контента и симулированными средами.
TechCrunch отмечает, что Anthropic начала ограничивать доступ своих новейших моделей к интернету примерно двумя неделями раньше. Будет ли обучение на «кэшированном интернете» столь же эффективным, пока неясно.
Уязвимость в Brotli
Чтобы проверить защиту, OpenAI поручила командам ИИ-агентов попытаться выбраться из «песочниц». Помимо уязвимостей в собственных системах (компания говорит, что они исправлены), агенты нашли уязвимость в Brotli — широко используемой библиотеке сжатия данных. По данным OpenAI, вредоносные данные могли позволить злоумышленникам выполнить свой код на затронутых системах, в том числе в ПО на Node.js, Bun и Envoy. Первопричину исправили в исходном коде Brotli ещё в феврале, но без нового релиза; теперь обновлённые версии и публичное уведомление опубликованы.
Reuters также напоминает, что в четверг организации METR и Redwood Research сообщили о новых уязвимостях во внутренней системе мониторинга агентов OpenAI; компания заявляет, что исправила их, но оценщики это пока не проверили.