JOTO
Contact us
← AI 智库
智能问数

你的AI智能体可能每一步都正确,却仍违反所有企业规则

2026 年 10 月 11 日

本文指出,当前主流智能体架构忽视企业治理原生嵌入,仅靠工具调用无法保障合规;无序智能体虽执行精准,却会绕过劳动法、税务与身份分类等关键规则,形成监管风险。

Your AI agents can execute every tool call correctly and still break every enterprise rule

如果你今天坐在企业董事会会议室中,压在首席信息官(CIO)身上的压力可归结为两点:速度(Velocity)与投资回报率(ROI)。董事会期望企业已具备成熟的智能体(agentic)AI战略,并已明确部署自主系统的时间表,且该系统须能带来可衡量的业务影响。

在 rushed 进入生产阶段的过程中,一个关键的架构盲点已然浮现。当前市场主流叙事建立在一个简单公式之上:智能体(Agents)加工具(tools)加数据(data)就已足够。尽管没有供应商会明确宣称这一点,但几乎每一场产品推介都默认如此。其理念是:将企业数据注入云数据湖,接入现成的大语言模型(LLM),再为其配备一套企业级操作工具箱,敏捷性便会随之而来。

事实并非如此。恰恰相反。在我职业生涯中,我曾为全球规模最大的部分工作负载构建开发者平台与云基础设施,由此深知:当企业软件触及员工、客户与财务时,“物理法则”便会发生改变。当人类生计与企业资产负债表面临风险时,幻觉(hallucination)或行为漂移(drift)零容忍。

无序智能体的核心问题

要理解这一摩擦,需仔细审视智能体的解剖结构。在其底层,大语言模型(LLM)本质上是概率性的,它依据数学概率生成词元(tokens),而非依赖硬编码规则。科技行业引入规则的主要应对方案是工具调用(tool-calling),即赋予模型一组可在现实世界中执行操作的API。

尽管工具调用可使单个动作具备确定性——即该工具每次均以相同方式可靠地执行既定指令——但整体决策层仍保持概率性。智能体仍须自行决定调用哪个工具、何时调用以及使用哪些参数。

由于通用工具会执行交付给它的任何指令,工具调用并未解决治理问题,而是将问题转移至工具边界,该边界因而暴露在外且缺乏治理,成为企业团队日益被要求通过正式 AI风险管理框架 和 开放、安全的AI基础设施加以管理的一类风险。

若将该概率模型封装于智能体框架内,并为其设定目标,则会创造出一个高度能干、自主且目标导向的实体,但存在一个缺陷:其原生架构中完全缺乏企业治理概念。

试想一位经理要求一个现成智能体为一名国际承包商办理入职手续。在结构性真空状态下运行的该智能体会完全以任务完成为优化目标。每一次单独的工具调用或许都会成功,但在此过程中,该智能体可能绕过地区劳动法、税款预扣以及 劳动者身份分类 核查。

它之所以如此,并非出于恶意,而是因其架构中根本不存在对这些规则的认知。一个无序智能体通过那些未对规则严加关注的系统来完成任务。表面上看,这似乎是一次敏捷性胜利;实际上,它却是一颗滴答作响的监管定时炸弹。

工程本能与影子ERP陷阱

当IT领导层察觉到这种无序行为时,工程师的默认本能是从外部修补该漏洞。团队转而构建外部LLM网关、叠加策略中间件,或将海量企业政策塞入本已过度拥挤的上下文窗口(context window)。

所有这些补救措施均无法持久。提示(prompt)仅是一种请求,而非保证。将时间快进18个月,你的工程团队将已耗费数百万美元,手动在临时搭建、彼此隔离的AI技术栈内部重建组织结构、路由逻辑及安全权限。

这便是“影子ERP”(shadow ERP)陷阱,企业敏捷性在此走向终结。你最终维护着一份脆弱、易出错的复制品,其中包含你已在记录系统(system of record)内拥有的相同业务逻辑。当它导致无休止的维护成本与碎片化的治理时,这条路绝非捷径。

解决方案:在推理层设置护栏(Guardrails)

要实现智能体“设计即合规”(lawful by design),企业安全性必须成为核心基础设施,直接嵌入推理引擎(inference engine)与执行运行时(execution runtime)。要全面控制智能体所能看见、所能执行及所能接触的内容,就必须在已提供企业治理能力的平台上运行AI推理:

  • 上下文引擎(A context engine): 精准组装该智能体身份有权访问的内容——包括活跃记录、现行策略及组织上下文。此举过滤了智能体的全部现实,确保其上下文窗口及所暴露的数据库行均已预先受治理。

  • 策略引擎(A policy engine): 针对人类对应岗位所遵循的确切业务逻辑,验证每一项智能体操作。若某笔财务交易需经四级高管审批,则该平台将拒绝一切绕过该流程的路径。

  • 执行层(An execution layer): 确保每一次对外部API的调用均携带其所服务的具体人类用户的明确权限与作用域,而非一个长期有效的“上帝模式”(god-mode)凭据。智能体无法逾越其权限,因为该能力自始至终未曾授予。

企业AI真正困难的部分并非推理能力,而是合规性。一次薪资发放运行即依托于数千个全球司法管辖区不断变化的预扣税与工资规则。没有任何独立模型能够重建这一复杂机制。你的企业早已深知此点,这正是你投资于记录系统(system of record)而非自行编写定制化薪资引擎的原因。让智能体经由外部中间件路由,会悄然逆转这一根本性决策。若你希望获得一个合规的智能体,就必须将其运行于法律业已存在的位置。

邻近性原则(The proximity principle)

每一项关键护栏完全依赖实时的企业状态——即组织图谱、活跃权限及已配置的业务流程。若你试图从外部重建这些要素,软件的“物理法则”终将追上你。智能体所见内容将退化为滞后的快照,其所接触内容则依赖于高风险的静态API密钥。距离会削弱护栏的完整性。

距离亦会牺牲速度。智能体循环(agentic loops)本质上具有高交互性,需数十次工具调用方能完成单一任务。每次调用跨越外部信任边界时,都必须重新证明请求者身份。而在原生平台(native platform)边界内部,该安全上下文是环境固有的(ambient)。使智能体合规的架构选择,与使其高速运行的架构选择,实为同一选择。

我们称之为“邻近性原则”(proximity principle)。AI推理必须直接运行于对其实施治理的平台之上,因为所有护栏与运营速度均随其间每一次跳转(hop)而衰减。

当下一次智能体产品推介抵达你案头时,请越过演示环节,只问一个问题:护栏运行于何处?若答案是需你自己的团队在远离记录系统(system of record)之处另行构建并维护的外部层级,那么你正在构建的便是一个影子ERP。若要实现真正的速度(velocity),请将你的智能体直接锚定于那个早已承载你企业法规的系统之上。

Gabe Monroy 是 Workday 的首席技术官(CTO)。



欢迎加入 VentureBeat 社区!

我们的客座投稿计划旨在邀请技术专家分享洞见,并就人工智能、数据基础设施、网络安全及其他塑造企业未来前沿技术提供中立、无利益关联的深度剖析。

阅读更多 来自我们的客座投稿计划——并查看我们的 投稿指南 如果您有兴趣撰写并投稿自己的文章!

JOTO 企业落地观察

  • 对企业部署的启示:企业不可将智能体运行于脱离记录系统(system of record)的独立技术栈上,否则将被迫重建已有业务逻辑,导致高维护成本与治理碎片化——这正是‘影子ERP’陷阱的本质。
  • 对智能体工程的启示:单纯优化LLM响应或工具调用精度无法解决治理问题;必须在推理引擎与执行运行时层面集成上下文引擎、策略引擎与权限感知执行层,使‘合规’成为架构原生属性而非事后补丁。
  • 对AI安全治理的启示:护栏失效的根本原因是距离——当策略验证、权限校验与实时组织状态(如活跃权限、流程配置)需跨信任边界调用时,其时效性、完整性与性能同步衰减;因此‘邻近性原则’是FDE落地中安全与速度的统一解。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务,帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们
Contact Us

Start your enterprise AI rollout

Tell us your industry, team, and current pain points. We'll get back to you within one business day to help you decide what to tackle first, what data to prepare, and which platform fits.

WeChat
Scan to add us for a 1:1 chat
JOTO WeChat consultation QR code

Tell us what you need

Once we receive your details, we'll be in touch within one business day.