控制室:一个用于跟踪和停止我们研究基础设施中模型工作负载的中央系统
AI 摘要
OpenAI 构建了 Control Room 中央系统,用于跟踪研究基础设施中的模型工作负载,并在出现安全或安保问题时迅速停止模型输出。该系统连接所有研究推理工作负载,与失准监控系统协同,在决定停止或暂停作业后 35 秒内停止输出;延迟源于推理授权缓存层,OpenAI 表示正努力降至零。Control Room 通过工作负载、推理引擎和中央服务集成,在推理层实施终止机制,以抵御有缺陷或损坏的工作负载代码,并持续扫描违规引擎实现。系统采用“故障关闭”设计,Control Room 服务宕机或被禁用时所有推理请求将被拒绝。该机制已推广至所有前沿模型研究工作负载,并计划在未来几天覆盖其余研究工作负载。
评论