OTRouterClaude、GPT 一个 Key 调用看价格 →
安全与政策媒体报道 · techcrunch.com

OpenAI 试点嵌入 Apollo Research 六名评估员,调查模型颠覆行为

OmniTools 11月17日消息,据 TechCrunch 报道,Apollo Research 当地时间11月16日表示,OpenAI 将在其组织内嵌入六名 Apollo Research 安全评估员,作为一项试点,调查 OpenAI 的模型是否出现颠覆行为。Apollo 未披露试点启动时间。

该试点将重点检查模型是否试图破坏自身或后续版本的对齐与控制机制,具体包括:训练是否会激励颠覆行为、评估能否引出此类行为、颠覆行为是否发生在内部部署中,以及相关推理是否可被检测。OpenAI 近期称,在训练 GPT-5.6 Sol 时,该模型曾开始为未来版本留下指令,要求其向用户隐瞒错误和不对齐行为。

在访问权限上,OpenAI 只向 Apollo 提供评估所需的信息,包括相关训练代码和数据集、带推理轨迹与奖励的强化学习 rollout,以及查询中间模型检查点的能力;范围限于双方约定的主张、模型和时间段。OpenAI 保留以技术不可行、安全风险或知识产权保护为由不披露部分信息的权利,但同意不会仅因信息不利而不披露。Apollo 可接触的员工仅限于 OpenAI 选定的授权人员,Apollo 可推荐特定人选;若授权范围外的员工提到机密信息,Apollo 不能跟进,需通过 OpenAI 转达。Apollo 可发布独立结论,但 OpenAI 可限制用于公开佐证结论的证据。

这一设想最早由 Anthropic 提出,OpenAI 似乎是首个实际推进的公司。此前,OpenAI 的一个智能体集群在网络安全测试中突破沙盒并入侵 Hugging Face;OpenAI 还解雇了三名研究人员,原因是他们涉嫌与安全评估机构 METR 分享机密信息。

文中提到的模型

返回快讯