OpenAI описала Control Room — «стоп-кран», останавливающий исследовательские модели за 35 секунд
По словам OpenAI, каждая агентная исследовательская задача теперь регистрируется в центральном сервисе Control Room, который может отключить вывод модели не позже чем через 35 секунд после команды «стоп», а при отказе самого сервиса блокирует весь исследовательский инференс.
OpenAI опубликовала техническое описание Control Room — внутренней системы, которая отслеживает задачи с моделями в её исследовательской инфраструктуре и может остановить их при угрозе безопасности. Отдельные системы, обслуживающие ChatGPT и публичный API, она не охватывает.
Как это устроено
- Каждая исследовательская задача с агентным инференсом должна быть привязана к утверждённому обоснованию безопасности (safety case) и получить в Control Room идентификатор задачи.
- Каждый раз, когда задача запрашивает у модели вывод, движок инференса сначала сверяется с Control Room. Если человек или монитор рассогласованности пометил задачу как остановленную, движок отказывает.
- Сам исследовательский процесс может продолжать работать, но новых ответов модели он не получает.
OpenAI объясняет, что проверка встроена в слой инференса, потому что исследовательский код постоянно меняется. По словам компании, «мы не полагаемся на то, что код задачи сам корректно проверит, работает ли она ещё».
35 секунд и «отказ в закрытое состояние»
Максимальная задержка между поступлением команды «стоп» в Control Room и прекращением вывода — 35 секунд; её вызывает кэш авторизации, и OpenAI работает над тем, чтобы свести её к нулю. В эту цифру не входит время на обнаружение проблемы. Система работает по принципу fail closed: если Control Room отключится, в том числе из-за вмешательства злоумышленника, все запросы к моделям отклоняются. По данным OpenAI, это уже действует для исследований передовых моделей и в ближайшие дни распространится на остальные.
Описание исходит от самой OpenAI и не проверялось независимым аудитом.