OpenAI启动四家独立机构嵌入式评估,聚焦模型对齐与防护
OpenAI 宣布与 Apollo Research、METR、Transluce 和 Goodfire 四家独立机构签署协议,启动第一阶段嵌入式评估,允许评估人员在较长时间内接触内部模型、检查点、训练数据、监控系统及研究人员,以审查模型对齐与防护措施。Apollo 将评估模型是否存在暗中违背开发者意图的颠覆行为;METR 聚焦最大规模强化学习运行中的不对齐行为及监控评估;Transluce 审查训练后对齐评估的质量与覆盖范围;Goodfire 则嵌入可解释性研究人员分析模型内部结构。OpenAI 称评估方独立发表报告,但保留删节机密信息和要求延迟披露的权利,安全与安保委员会(SSC)对评估行使监督。OpenAI 表示这些工作也支持其在《白宫超级智能协议》下的独立评估承诺。