← 返回 Sardaana AI
OpenAI介绍“Control Room”:可在35秒内叫停研究模型的“停止开关”
OpenAI称,所有具备智能体推理的研究任务现均须在中央服务Control Room登记;该服务可在收到停止指令后最多35秒内切断任务的模型输出,若服务本身宕机,则拒绝所有研究推理请求。
OpenAI发布了Control Room的技术说明。这是一个内部系统,用于追踪其研究基础设施中的模型工作负载,并在出现安全或安保问题时将其叫停。它不涵盖面向公众提供ChatGPT和API的独立系统。
工作方式
- 每个进行智能体推理的研究任务都必须关联一份经批准的安全论证(safety case),并从Control Room获取任务ID。
- 任务每次向模型请求输出时,推理引擎都会先向Control Room核实。如果有人或错位监测器已将该任务标记为停止,引擎就会拒绝。
- 研究进程本身可能仍在运行,但无法再获得模型输出。
OpenAI解释说,之所以把检查放在推理层,是因为研究代码变化频繁。用该公司的话说:“我们不依赖工作负载代码自行正确检查任务是否仍在运行。”
35秒与“故障即关闭”
从停止指令到达Control Room到输出终止,最长延迟为35秒,源于授权缓存;OpenAI表示正努力将其降至零。该数字不包括发现问题所需的时间。系统采用**故障即关闭(fail closed)**设计:若Control Room宕机,包括遭人篡改,所有推理请求都会被拒绝。据OpenAI介绍,这已在前沿模型研究中启用,将在几天内覆盖其余研究任务。
以上说明来自OpenAI本身,尚未经过独立审计。