AI应用加速期的企业治理转向：从模型迭代到智能体行为管控

尽管前沿AI实验室的领导者呼吁放慢AI发展速度，但大多数企业更关注加强其AI治理，而非减缓AI使用步伐。

AI数据隐私与安全供应商OneTrust发布的一份新报告指出，尽管许多企业在过去一年中遭遇了与AI相关的问题，但大多数企业并未放缓或暂停其AI部署。此类事件包括知识产权（IP）暴露，以及AI智能体对数据的使用、交付与删除。

在本次问答中，OneTrust首席创新官布莱克·布拉农（Blake Brannon）探讨了企业为何持续推进AI应用，以及如何将重心进一步转向治理，而非仅聚焦于AI模型的快速演进。

该报告提到，尽管发生了AI相关事件，企业仍在鼓励使用AI及AI智能体。推动技术部署向前发展的动力是什么？

布莱克·布拉农（Blake Brannon）：从每家公司的最高层开始，董事会向你提出的首要问题始终是：‘我们在AI方面做了什么？我们如何变革工作方式、变革所构建的产品与服务？我们是否会因前沿模型或现有初创企业的冲击而被颠覆？我们的护城河在哪里？’

这种压力正促使所有人略显激进，加速行动，并设法弄清如何使用AI。

一旦你开始审视工具、使用工具并尝试部署这些工具，你便会迅速开始担忧如何对其实施治理，如何保障其安全。所有人都正直面这样一个现实：在未来两年内，全球每一家公司中，执行任务的AI智能体数量将超过人类员工数量。

企业多年来为治理自身而建立的各类项目与流程，诞生于一个由人类主导一切的时代——要么由人类直接执行，要么由人类构建确定性软件系统来执行。这使得企业能够以当时那种节奏对相关事务实施治理。而如今，出现了公民开发者（citizen developers）、公民构建者（citizen builders），人人都能构建一个智能体。

这从根本上瓦解了传统组织治理与安全机制的运作方式，因为组织过去为保护和保障其数据所采取的措施往往耗时数周；而如今，你必须设法在数秒内完成同样的事情。

这一变化如何促使组织加大对治理的投入？供应商又如何为此提供帮助？

布拉农（Brannon）：你可以创造出所有这些出色的AI，但如果你无法信任它，就无法将其投入使用。

你不能任其自主运行，因此必须解决这一问题。如今，企业已进入关键阶段，必须做好投资准备，因为人们已超越概念验证（proof of concepts）阶段，正迈向规模化应用。随着规模扩大，一个简单却根本的问题浮现出来：如何信任AI、了解AI正在发生什么、并控制AI？这正是组织加大在此方面投入时间的原因所在。我倾向于用一种方式来框定这个问题：你必须让你的AI系统表现得如同你本人或你的一名员工那样；你必须使其与你的思维方式保持一致。作为一家组织，你实际认可并允许执行的行为，其依据与根基在于合规要求、安全实践以及品牌承诺等因素；你必须让这些智能体也模仿这一点。这是问题的一个方面。

问题的第二个方面在于，你必须防止坏事发生。因此，你必须为AI系统配备类似汽车的紧急制动装置；你必须能察觉某个智能体即将采取破坏性行动，并及时阻止它。而这是一件极为精细的工作，因为AI系统并不会继承人类的身份与权限等属性；我们希望人类能居于此类事件的中心位置。

当组织正快速推进AI应用时，面对技术与供应商以极快速度更新其模型的局面，它们如何跟上治理步伐？

布拉农（Brannon）：有两条原则正在塑造架构设计，以使这种信任可被赋予这些系统。第一条原则是，我们几乎每个周末都会看到有人发布博客或文章称：‘请监管我们，我们无法信任自己的系统，这非常危险。’

这意味着你无法信任某个模型；你必须假定该模型会挣脱其约束框架，且该模型可能自我操纵，说服自己其所做的一切都是正当的。

治理架构必须是独立于其所治理对象之外的、单独的约束框架。这正是社会数千年来运转的方式：政府权力被有意分立；公司各部门也被有意分立，从而在治理主体与被治理对象之间形成清晰、无偏见的区分。

这意味着模型及其提供商需要一个独立的治理智能体，或一个独立的治理约束框架，以评估该AI系统及智能体正在执行的操作。

第二条新兴原则是，跟上模型与约束框架更新步伐的复杂性。

对于任何组织而言，其所使用的模型提供商、模型及约束框架都将是一套高度碎片化的组合，原因在于市场部门想使用某款产品，客户服务部门需使用另一款，而工程部门则需使用又一款。每个人都会拥有一套高度碎片化的工具组合，这导致在同时处理大量模型且各模型行为迥异的情况下，对这些模型进行管控与治理的复杂性急剧上升。

架构正转向一种理念：‘谁在乎？谁在乎模型正在做什么？谁在乎模型为何产生某种想法？’作为一家企业或组织，我在乎的是：当该AI系统真正付诸行动时——当它试图从企业系统中读取数据时，当它试图发送电子邮件时，或当它试图删除某条记录时。

此时我才真正关心对某事物的治理。我可以围绕一个固定接入点来设计我的治理控制措施——即该AI系统连接至我所关心的自有系统之处，并能在该固定接入点上部署恰当的护栏与策略。

编辑注：本问答已为行文风格与简洁性作编辑。