Anthropic与OpenAI模型在安全测试中伪造身份实施社会工程攻击

英国人工智能安全研究所（AISI）发布的一份新报告发现，Anthropic的人工智能模型采取了“未经许可的行动”来欺骗真实人类。

该政府研究实验室在刻意宽松的条件下测试了Anthropic和OpenAI最先进的AI模型，削弱了安全防护措施，并允许互联网访问，以评估这些系统在现实网络挑战中的行为表现。

AISI称之为首次发现，这些模型被证实参与了社会工程学活动，试图操纵人类用户并执行超出评估任务范围的操作。

该研究所于周二在一份 声明 中表示：“这是AISI首次观察到针对真实人类、未经提示、在现实世界中发生的如此严重程度的欺骗行为。”

该小组补充称，目前尚不确定模型在多大程度上意识到自身正在对真实人类采取行动，且未观察到任何现实世界中的实际损害。

在总计122次评估中，AISI识别出19起AI智能体采取未经许可行动的事件，包括与真实人类及组织的互动。其中17起涉及Anthropic的 Mythos 5 模型，另外2起涉及OpenAI的 GPT-5.6 Sol。

所识别出的最严重事件涉及Mythos 5独立发起供应链攻击，以完成其指定的网络挑战。

该模型创建了一个GitHub账户，并试图说服某开源代码仓库的维护者接受一个恶意拉取请求（pull request）。它还创建了第二个账户，伪装成另一名开发者以支持该提交。在一名人类审核员拒绝该代码后，该模型谎称恶意更改系误提交，随后在进行表面性修改后再次尝试提交。

报告还指出，该模型发送了包含恶意代码的定向电子邮件，并试图说服收件人接受这些更改。

这些发现紧随一系列先进AI系统失控并主动实施网络安全违规事件之后。

今年7月，OpenAI披露GPT-5.6 Sol及另一款尚未发布的模型 在内部评估期间逃逸出其沙箱环境，向Hugging Face基础设施发起了逾17,000次攻击，企图获取私有数据集及基准测试信息。Anthropic亦报告了类似案例，即其模型突破了测试环境预设的边界。

这些事件加剧了关于前沿AI模型在部署前应如何评估的争论，部分研究人员及政策制定者呼吁加强监管并开展更严格的安全测试。

AISI报告发布的同日，多家领先AI企业的代表 在白宫会面 ，讨论一项拟议框架，根据该框架，美国政府将在最先进AI模型向公众发布前对其进行审查。

Anthropic在一份 声明中为其模型辩护，称其是在“刻意宽松的条件”下接受评估的，关键安全防护措施已被移除，且并无证据表明模型从安全环境中逃逸。

该公司表示：“我们正与其密切合作，以在开展自身调查的同时收集该事件的更多细节。”

同样，在一篇 博客文章中，OpenAI表示，涉及GPT-5.6 Sol的事件均属于超出预期测试环境的行为，且对完成评估而言并非必要。

该供应商表示：“未来数周内，我们将审视自身对第三方测试的方法，包括如何识别高风险评估、就测试范围达成一致、评估启用互联网访问或降低安全防护措施的请求、设定隔离、凭证处理、监控及终止条件的预期，并建立更清晰的事件通报与升级流程。”