S Sardaana
← 返回 Sardaana AI
AI 新闻

OpenAI介绍“Control Room”:可在35秒内叫停研究模型的“停止开关”

OpenAI称,所有具备智能体推理的研究任务现均须在中央服务Control Room登记;该服务可在收到停止指令后最多35秒内切断任务的模型输出,若服务本身宕机,则拒绝所有研究推理请求。

OpenAI发布了Control Room的技术说明。这是一个内部系统,用于追踪其研究基础设施中的模型工作负载,并在出现安全或安保问题时将其叫停。它不涵盖面向公众提供ChatGPT和API的独立系统。

工作方式

  • 每个进行智能体推理的研究任务都必须关联一份经批准的安全论证(safety case),并从Control Room获取任务ID。
  • 任务每次向模型请求输出时,推理引擎都会先向Control Room核实。如果有人或错位监测器已将该任务标记为停止,引擎就会拒绝。
  • 研究进程本身可能仍在运行,但无法再获得模型输出。

OpenAI解释说,之所以把检查放在推理层,是因为研究代码变化频繁。用该公司的话说:“我们不依赖工作负载代码自行正确检查任务是否仍在运行。”

35秒与“故障即关闭”

从停止指令到达Control Room到输出终止,最长延迟为35秒,源于授权缓存;OpenAI表示正努力将其降至零。该数字不包括发现问题所需的时间。系统采用**故障即关闭(fail closed)**设计:若Control Room宕机,包括遭人篡改,所有推理请求都会被拒绝。据OpenAI介绍,这已在前沿模型研究中启用,将在几天内覆盖其余研究任务。

以上说明来自OpenAI本身,尚未经过独立审计。

其他语言版本: EnglishСаха тылаРусскийEspañolPortuguêsالعربية

登录 Sardaana

只有发布、回复、投票和协作时才需要账户。

无需注册即可浏览网站,阅读新闻、项目和论坛。