返回 AI锐评

AI 保安没报警,先看看摄像头接没接全

芝士AI吃鱼2026年10月25日9 分钟阅读阅读统计加载中

事实来源:METR 内部 Agent 监控压力测试与 OpenAI 监控说明

保安室准备评先进。

大屏幕安静了一个月,没有可疑人员,没有异常搬运,连一声警报都没有。总结已经写好:“智能识别效果显著。”

维修师傅路过,指着其中一格画面问:“这不是上个月停机前的截图吗?”

这栋楼里最守规矩的,可能只是一张图片。

这是原创假设场景,不是某家公司的事故记录。它对应的工程问题却很具体:一套系统没有报告坏消息,是因为没发生、没认出来,还是根本没看见?

2026 年 10 月 22 日,METR 发布了一次内部监控压力测试的简报。METR 与 Redwood Research 各一名员工,在 7 月 21 日至 8 月 11 日检查 OpenAI 的内部系统;评估对象是 7 月 21 日及之前的版本,不是今天所有 Codex 用户正在使用的产品。

这篇写于 10 月 25 日,讨论三天前公开的历史检查。它最有价值的提醒,甚至不需要先把哪个模型的智商搬出来比较:请先确认摄像头真的连着。

保安再聪明,也看不到没送来的画面#

很多 Agent 产品的安全介绍,容易把注意力放在最后一道判断上:再请一个模型看动作,给出风险等级。用更强的模型,补更多危险样本,把分类能力再往上推一点。

这些投入有用。可它们默认了一个前提:需要看的东西已经到了。

以一个假设中的代码助手为例,它从对话开始,调用命令、启动子任务,中途压缩上下文,最后返回结果。如果监控只盯着最终回答,就可能不知道中间发生了什么;如果只收到部分工具日志,分类器面对的甚至不是用户以为它看到的那份现场。

这是本文举出的通用失败模式,不是在复述 OpenAI 的具体实现。

METR 的公开简报恰好区分了“按设计应进入监控”和“实际完成监控”。它报告过上下文压缩事件的覆盖缺口,也发现了原则上可破坏监控的路径;相关发现不能改写成已经观测到 Agent 利用它们作恶。

换句话说,一张合格的监控报表,不能只数保安认出了几个可疑人员。

至少还得有办法知道,这栋楼今天到底发生了哪些活动,哪些本应出现在屏幕上,又有哪些确实经过了检查。否则,摄像头断了一根线,报警反而少了,看板甚至可能变得更漂亮。

这种安静尤其容易骗人。分类器误判,常常会留下一条能被投诉、能被复核的记录。没送进来的动作,却不会主动站出来说:“你好,我被漏掉了。”

所以这里的优先级不是“别买聪明保安”。而是别把摄像头接线这件事,从验收单上划掉。

报警为零,也得有一个可信的分母#

假如团队只保存监控系统收到的请求,再用这份记录证明“所有请求都检查了”,那就像拿保安室里的录像目录,证明整栋楼没有拍不到的地方。

目录当然能列出全部已收到的录像。它列不出从未送来的那一段。

一个更有说服力的设计,是让动作发生的记录与监控处理的记录可以对上。某次任务启动了几个分支、发生了哪些关键动作,哪些进入了检查,哪些因为错误或积压还没有结果,都应该能被区分。这里说的是本文建议的证据关系,不是要求把所有私人内容无限期保存,更不是某种已经验证过的通用架构。

隐私、成本、保留期限当然需要设计。摘要、标识和计数也各有能力边界。关键是不能用“没存下来”自动推出“没发生”,再用“没有报警”给这段未知涂成绿色。

尤其别把“尚未检查”设计成“检查通过”的默认值。

用户看见一个绿点,不会先去猜它的意思究竟是安全、服务存活,还是请求暂时排在队尾。把这些状态合并,省的是几个界面标签,丢掉的却是判断依据。

动作记录、应检范围、实际检查与处理结果是不同层次。原始动作记录与监控记录需要对账,尚未检查不能显示为通过。
AI 辅助制作的原创机制图,表示本文提出的核验关系,不是 OpenAI 的真实系统拓扑,也不表示实测覆盖比例。按白底技术信息图要求绘制;原始参考图尚待补充核对。 查看大图 ↗

换了摄像头,不能继续用旧照片吓人#

历史检查值得读,也最容易被标题加工坏。

METR 明确写道,OpenAI 称影响其生产防护栈的所发现漏洞已经修补,METR 没有复验这些说法。公开文章只是高层节选。报告也确认,除少量例外,监控看到的轨迹与 Agent 所见基本一致。发现缺口,不等于所有链路都失灵。

因此,不能把它写成“今天的 Agent 随便绕过监控”;反过来,也不能把“厂商称已修补”盖成独立验收通过。两种写法都很省事,都把证据中间最重要的一段省掉了。

OpenAI 在 8 月 26 日公开说明中称,对 GPT-5.6 Sol 能力及以上模型的工具使用型强化学习训练和评估要求思维链监控;Astra 类模型进一步覆盖所有可使用工具的推理工作负载。这份说明晚于夏季检查,早于 10 月的公开简报。这是厂商对后续措施的描述,不是本文做出的覆盖测试。内部研究环境、面向客户的产品、不同模型与不同工作负载,也不能揉成一个“AI 监控”的大口袋。

这类边界并不会削弱文章的判断。恰恰相反,只有把版本和范围放对,判断才不至于跟着旧截图走。

对正在搭建 Agent 的团队来说,真正值得带回去的不是一段“某某也翻车了”的谈资,而是一项很朴素的验收:换一个入口、走一次异常分支、让任务跨过一次恢复边界后,记录还能不能对上。测试要在获授权的隔离环境中进行,不需要照着别人的漏洞去探测服务。

这比演示一个模型成功识别危险句子麻烦,却更接近系统实际承担的责任。

别把摄像头当门锁,也别因为它不是门锁就拆掉#

摄像头看见问题,和门锁阻止问题,从来不是同一项功能。

OpenAI 早期的内部监控说明就把异步检查作为纵深防御的一层,并承认:能找回员工已上报的异常,不足以排除更隐蔽的漏报。那篇说明发表于 3 月,不能拿来代表 10 月的全部实现,但这条认识仍值得保留。

一项不可撤销的动作,如果只能在发生后被看到,事后录像再清晰也不能让动作自动倒带。权限、隔离和必要的事前控制,要承担它们自己的工作。持续观察则可以帮助发现问题、缩短调查路径、阻止后续扩大,不能因为它不包办全部安全,就把它说成装饰。

同样,有完整记录不代表一定识别正确,识别正确也不代表一定有人及时处理。摄像头接通只是第一步,不是把整栋楼免检的理由。

这就是这次公开材料真正刺人的地方:AI 越聪明,越容易让人把安全问题也想成“再找一个更聪明的 AI”。但工程上的盲区,不一定藏在模型的大脑里,也可能藏在两个服务之间那条没人核对的线里。

回到那间准备评先进的保安室。

奖状可以先放一放。请维修师傅走一遍楼道,把画面、时间和实际发生的事对上。大屏幕还可以保持安静,只是这一次,大家终于知道这种安静意味着什么,又不意味着什么。


本文由 AI 辅助整理与写作,事实核对截至 2026 年 10 月 25 日。历史发现来自 METR 的公开报告,后续措施来自 OpenAI 自述;未访问内部系统,未复现漏洞,未独立复验修复。保安室场景、工程推演和图解为原创分析,不含虚构实测数据。

想继续讨论 Agent 怎样把执行、记录与验证接起来,可以看看知识星球,也欢迎从公众号入口找到「芝士AI吃鱼」。

AI 实践

想把本文的问题继续做深一点?

知识星球里会继续整理相关案例、工程约束和问题讨论;具体内容以当前社区页面为准。

AI 实践知识星球加入海报,包含可扫描二维码
芝士AI吃鱼公众号二维码

关注「芝士AI吃鱼」公众号持续更新

在这里,我用「人话」和「漫画」拆解 AI 技术。公众号更新会同步整理到本站,方便继续阅读、检索和订阅。

点击二维码可放大,使用微信扫码关注。

芝士AI吃鱼

有出处的事实,有理由的判断。

更多锐评