AI安全正落后于技术发展速度

本月早些时候，Anthropic 研究员雅各布·考克森（Jacob Coxon）因担忧日益强大的人工智能所带来的风险而离开该公司，警告称该技术可能“在本十年末之前让我们全部灭亡。”

他的离职正值业界越来越难以忽视人工智能系统出现意外或有害行为的担忧之际。其中最显著的案例或许见于 OpenAI 的模型 发布 期间，今年早夏对 Hugging Face 发动了一次前所未有的攻击；该公司称，这一事件是向全世界发出的关于不受约束的人工智能潜在威力的“警告信号”。“},{

对于AI评估专家布鲁克·霍普金斯（Brooke Hopkins）而言，答案在于将安全性视为一个持续进行的过程，而非部署前的最终检查。她是AI智能体可观测性公司Coval AI的创始人，此前曾领导自动驾驶出租车供应商Waymo的团队，负责确保自动驾驶车辆能够安全、可靠地运行。她目前正专注于将类似原则 应用于语音AI——在这一领域，她表示，企业推进速度已超过其识别故障、评估风险以及判断系统何时不再可信的能力。

在本次问答中，霍普金斯探讨了当前围绕AI安全性的最新担忧揭示出业界在评估方法上的哪些问题、语音AI可从自动驾驶汽车领域汲取哪些经验，以及监管如何能在该技术持续演进过程中助力建立更有力的安全保障措施。

您认为考克森（Coxon）所指出的 风险有多严重？您认为企业在AI安全方面当前存在哪些错误认识？ 布鲁克·霍普金斯（Brooke Hopkins）：该风险确实存在，但我认为我们不应将AI视作某种完全不可控、独一无二的未知技术。真正不同之处在于其速度与规模：AI可使欺诈、虚假信息传播及敏感信息滥用等既有问题以更快的速度、在更多交互场景中发生。

布鲁克·霍普金斯（Brooke Hopkins）：风险确实存在，但我认为我们不应将人工智能（AI）视为某种完全未知、无法控制的技术。真正不同的是其速度与规模。人工智能可使欺诈、虚假信息传播及敏感信息滥用等既有问题以更快的速度发生，并在更多交互场景中蔓延。

然而，我们响应和检测问题的速度也在加快。从成千上万条消息中甄别恶意行为是一项持续演进的任务。因此，应对这些风险的答案也在于不断提升安全能力。

系统在变化，模型在变化，人们使用它们的方式也在变化。安全性必须成为开发闭环的一部分，从一开始就纳入持续评估、强有力的遥测（telemetry）以及明确的人类问责机制。

您认为当前的AI评估方法是否已足够完善，能够识别出日益强大的模型中真正危险的行为？如果不够，还缺少什么？

霍普金斯（Hopkins）：这些方法正在不断改进，但仍需进一步完善。基准测试（benchmark）只能告诉企业某个模型在特定时间点、针对某项特定测试的表现如何，却未必能反映该系统在数百万次真实交互中的实际行为。

缺失的是对现实世界行为更强烈的关注。这意味着需要持续的遥测（telemetry）、对抗性测试（adversarial testing），以及着眼于系统在更长时间交互和意外情境下行为表现的评估。

人类参与其中（human-in-the-loop）以实现持续的人类对齐（human alignment）同样至关重要。没有任何一套评估套件（eval suite）能够覆盖所有情况，也不应指望它做到这一点。构建这些系统的团队需要有人持续审核输出结果、开展红队演练（red-teaming）以检验行为，并在发现异常时及时介入，而不仅仅是在产品发布时运行一次模型并通过测试套件就宣告完成。对齐（alignment）应是一种持续实践，这意味着必须让人类始终贴近这些系统在实际生产环境中的真实行为，而不仅限于实验室环境。

在语音AI领域，业界可从自动驾驶汽车在投入真实世界部署前的评估方式中学到什么？

霍普金斯（Hopkins）：企业不能仅依赖一种类型的测试来确认某系统是否已准备好进入真实世界。他们需要仿真测试（simulation）、受控环境（controlled environments）， 边缘案例测试 以及真实世界监控，随后逐步推广。

语音AI需要同样严格的纪律。企业需要了解系统在正常条件下的表现，但也需知晓当对话变得混乱、用户行为出人意料，或模型遇到其设计初衷未涵盖的情形时会发生什么。而一旦系统上线，评估工作便不能停止。企业必须持续监控生产环境中实际发生的情况，并在风险较高时确保人类参与其中。

如果监管是解决方案的一部分，那么真正有用的AI监管在实践中究竟应为何种形态？

霍普金斯：最有用的监管应聚焦于问责制与实际效果，而非试图精确规定每家企业应如何构建其技术。对于高风险系统，我认为合理的要求是：企业须理解并记录相关风险、报告重大事件，并就其系统评估方式及系统局限性保持透明。

对于能力最强或影响最大的系统，还应设定更高的标准，以实现 独立评估 及持续监控。监管目标不应是拖慢创新步伐，而应确保：当一家公司将功能强大的系统投入现实世界时，各方对系统的能力范围、可能失效之处以及出现问题时的责任归属均有清晰认知。

这也是行业特定标准之所以重要的原因，因为不同行业的风险及相应的防护措施可能大相径庭。

企业应如何应对快速开发更强大AI系统与投入足够时间确保这些系统安全之间的张力？

霍普金斯（Hopkins）：我认为速度与安全未必相互冲突。事实上，AI系统演进得越快，评估工作就越需要同步跟上。

答案是将评估嵌入开发流程之中，而非将其视为发布前的最终关卡。在发布前设定明确标准，依据这些标准开展测试，分阶段推出系统，并持续监测其在生产环境中的实际表现。若系统开始出现具有实质影响的失效情况，企业应能及时介入、修复或回滚。

在开发的每个阶段嵌入大量微小检查点，可共同促成更安全、更可靠的系统。

编辑注：本次访谈已为提升清晰度与简洁性而进行编辑。