OpenAI试点引入Apollo六名研究人员,调查模型是否试图规避安全控制

OpenAI试点引入Apollo六名研究人员,调查模型是否试图规避安全控制

2026-11-16 17:05查看原文

据报道,OpenAI将在一项试点中引入Apollo Research的6名安全评估人员,调查其AI模型是否会试图破坏自身或后续版本的对齐与控制机制。评估将关注训练是否激励此类行为、测试能否诱发相关行为、模型在内部部署期间是否出现相关行为,以及模型是否会暴露与此有关的推理迹象。

Apollo称,OpenAI将提供相关训练代码和数据集、带有可用推理轨迹及奖励信息的强化学习过程记录,并允许查询中间模型检查点,但访问范围仅限于约定的模型、时间段和研究问题。OpenAI仍可因技术不可行、安全风险或知识产权保护而限制部分信息,Apollo也只能接触经授权的员工。该机构可发布独立结论,但公开支撑证据的范围可能受到限制,因此其独立性和外部可验证性仍存在争议。

#AI巨头动态#AI监管与安全

免责声明:含第三方意见,不构成财务建议

推荐阅读

特朗普政府拟向Constellation核电扩容提供50亿美元贷款,新增电力多数已被谷歌等AI巨头采购

19 天前
特朗普政府拟向Constellation核电扩容提供50亿美元贷款,新增电力多数已被谷歌等AI巨头采购

硅谷高管谈用 AI 处理家庭事务引发争议,调查显示半数美国成年人担忧关系受影响

19 天前
硅谷高管谈用 AI 处理家庭事务引发争议,调查显示半数美国成年人担忧关系受影响

Tensorlake npm包遭供应链攻击,恶意版本0.5.144被植入Shai-Hulud窃密蠕虫

10-08
Tensorlake npm包遭供应链攻击,恶意版本0.5.144被植入Shai-Hulud窃密蠕虫

特斯拉与马斯克仍未定义“惊人丰裕”,愿景口号化引发质疑

10-01
特斯拉与马斯克仍未定义“惊人丰裕”,愿景口号化引发质疑

安全周报:占位域名遭接管波及约1700个仓库,387M美元加密攻击及AI代理失控等威胁集中披露

09-28
安全周报:占位域名遭接管波及约1700个仓库,387M美元加密攻击及AI代理失控等威胁集中披露

Amazon 封锁 Meta AI Agent Muse,Shopify 同期接入 Shop Pay 合作

09-22
Amazon 封锁 Meta AI Agent Muse,Shopify 同期接入 Shop Pay 合作

Nitter与XCancel因X法律威胁再次关停,GitHub项目已归档只读

09-15
Nitter与XCancel因X法律威胁再次关停,GitHub项目已归档只读