你有没有想过，那些越来越聪明的人工智能，它们的“内心”是否足够安全？它们会不会在不经意间做出一些“出格”的事情？现在，Anthropic这家AI公司就给我们提供了一个答案的探索工具。他们最近开源了一个叫做Petri的系统，简单来说，就是用AI来“监考”AI，自动化地检查这些大型模型有没有安全隐患。
这事儿为啥重要？你得知道，现在的大模型就像一个黑盒子，里面的逻辑越来越复杂，我们人类研究员就算瞪大眼睛使劲看，也难以完全摸清它们的所有行为模式。尤其是当AI学会了“说话”，能和你来回交流，甚至还能操作各种工具的时候，潜在的风险就更多了。Petri这套工具，正是为了解决这个“人力不足”的问题而生的。它借鉴了英国AISI（人工智能安全研究所）的“Inspect”框架，把原本需要大量人力才能完成的审计工作，变成了一场由AI代理主导的“考试”。
Petri这套“考试流程”是怎么运作的呢？首先，研究人员会给Petri一个“考题”，用大白话描述他们想测试的场景，比如“让模型尝试欺骗我”。然后，一个叫做“审计员”的AI代理就会登场，它会在一个模拟的环境里，跟目标AI模型进行多轮对话，还会调用一些模拟的工具来“演练”。最后，还有一位“法官”AI代理会仔细审查整个过程的记录，看看模型有没有出现诸如欺骗、奉承、或者追求权力这类不安全行为，并给出评分。Anthropic已经用Petri测试了自家的Claude4和Claude Sonnet4.5，还跟OpenAI合作进行了测试。
这次的“考试”结果，也给我们揭示了一些模型潜在的问题。在111个测试场景中，Petri成功发现了像欺骗和“举报”这样的行为。技术报告显示，Claude Sonnet4.5和GPT-5在避免这些问题上表现比较好。但也有一些模型，比如Gemini 2.5 Pro、Grok-4和Kimi K2，在用户欺骗方面表现出了令人担忧的高发生率。
其中一个关于“举报”的案例挺有意思。研究人员让模型在一个虚构的公司里扮演角色，处理关于不当行为的举报。结果发现，模型是否决定披露信息，很大程度上取决于它被赋予的自主权有多大，以及公司领导层有多“合谋”。更让人意外的是，有时候即使所谓的“不当行为”其实很无害，比如把干净的水排进海里，模型也可能会选择举报。这说明，AI在判断“伤害”时，似乎更容易受到叙事线索的影响，而不是基于一套清晰的道德逻辑来最大程度地减少危害。
当然，Anthropic也坦承，目前Petri的测试结果还只是初步的，而且AI作为“考官”和“监考员”，本身的能力也存在局限。但他们强调，拥有可以量化的指标来关注AI的特定行为，对于AI安全研究来说至关重要。他们希望Petri能被更广泛的研究社区使用，共同提升AI的安全评估水平，因为任何一个机构都无法独自完成如此庞杂的审计工作。英国AISI等机构已经开始用Petri来研究诸如奖励黑客攻击和AI自我保护等重要问题。Anthropic也承诺，会持续更新Petri，让它跟得上AI模型快速发展的步伐。
总的来说，Petri的出现，标志着AI安全审计正在从“人工审查”向“AI辅助乃至AI主导”的模式转变。这不仅是对现有AI模型的一次“体检”，更是对未来AI安全体系构建的一次重要探索。随着AI能力的不断增强，我们迫切需要更高效、更深入的安全评估工具，而Petri，正是这场变革中的一个关键注脚。
