Agent 一直在行动，任务为何没有进展？PoS 识别并打破 Belief Trapping

Belief Trapping：智能体忙而无果的根源

任务很简单：把一个加热后的杯子放进柜子。一个智能体先把杯子放进微波炉，再放进柜子，随后陷入反复查看柜子的循环。这个无效行为重复了 36 次，直到耗尽行动预算，任务仍然没有完成。

漏掉的是加热这一步。这是论文在 ALFWorld 仿真任务中展示的一个真实案例：使用完整交互历史的 Raw Trajectory 基线用完 50 步仍然失败，而 PoS 在 17 步内完成了同一任务。动作一直在发生，关键要求却始终没有被满足。

智能体仍在调用工具、接收观察、生成下一步计划，看起来始终在工作，但“把杯子加热”这一关键要求始终没有得到推进。类似的困境也出现在其他交互任务中：GUI Agent 反复点击，界面却停留在原处；Coding Agent 一遍遍读取相同文件，迟迟没有进入有效的修改与验证。操作记录不断增加，尚未解决的问题却依然存在。这些场景共同提出了一个问题：系统能否在预算耗尽之前，判断当前行动是否仍在推进关键要求，并在进展停滞时调整行动方向？

南开大学联合阿里云等机构的研究团队，将这一问题明确为 Belief Trapping（信念受困）：智能体持续与环境交互，但与目标相关的信念演化已无法带来有意义的任务进展。它既可能表现为原地重复，也可能是在几个状态间循环，或不断探索却没有触及真正未解决的问题。

PoS：显式信念状态驱动的进展闭环

为此，研究团队提出 PoS（Progression of States）。它持续维护显式信念状态，记录当前世界与未解决要求。在此基础上，用 Belief Health 衡量任务进展，在检测到受困后，依据受困模式与缺口类型实施 Trapping-Aware Recovery。从识别“已经卡住”到决定“怎样恢复进展”，构成了 PoS 的核心闭环。

在四个基准、三个基础模型组成的 12 组实验设置中，PoS 的整体指标均高于论文纳入比较的其他方法。这个结果背后的问题也很具体：怎样把“Agent 忙了很久，却没做成事”转化为可计算、可诊断、可干预的过程？

• 论文标题：Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States

• 研究机构：南开大学、阿里云、清华大学

• 论文地址：https://arxiv.org/abs/2610.01415

• 项目主页：https://luoyu100.github.io/projects/progression-of-states/project/

• 开源代码：https://github.com/luoyu100/PoS

显式状态：把当前世界和剩余要求放进同一份表示

长程任务中的信息会过时。杯子刚才在微波炉里，现在可能已经被拿走、一次工具调用表达了要做什么，返回的观察才能说明实际发生了什么、前几轮看似合理的判断，也可能被新证据推翻。

完整轨迹保留了事情发生的顺序，记忆和压缩机制则帮助筛选、整理这些记录。它们提供了重要的证据基础。但每次选动作时，智能体仍需要把分散的信息重新拼成对当前任务的理解，确定哪些结论继续成立，哪些已经失效。

PoS 把这一步显式化。这里的“信念”指智能体基于已有证据形成的当前理解，其中既有直接观察，也有仍待检验的推断。它可以被更新、被检查，也可能出错。要判断任务有没有推进，首先要有一份能够跨时间比较的当前状态。

第一步是明确“现在是什么情况”。PoS 用实体、状态和关系组织与任务相关的世界：杯子、微波炉和柜子是实体，杯子是否热、微波炉是否关闭是状态，杯子位于哪里、由谁拿着，则通过关系表达。状态和关系还保留来源、置信度，以及可用的支持证据，方便后续核对。

这份表示只保留会影响行动、结果判断和目标完成的信息。例如，加热杯子的任务需要记住温度与位置，单纯记录“曾经操作过微波炉”并不够。

第二步是明确“还差什么”。PoS 把未解决的要求分成两类：信息缺口（Epistemic Gap）是还需要弄清楚的事，达成缺口（Achievement Gap）是还需要通过行动改变的事。如果没有证据确认杯子是否变热，就需要补充信息，如果已经知道杯子未加热，就需要真正完成加热。

这一划分也适用于诊断。排查服务故障时，“数据库等待还是 JVM 内部处理造成延迟”是一个信息缺口。下一步应当寻找能区分两种解释的证据，而不是继续收集与判断无关的日志。

面对多个未解决要求，PoS 会选定一个当前优先处理的 Active Gap。智能体仍然可以看到完整的任务状态，但行动有了明确焦点，这个缺口解决后，再推进到后续要求。

信念校验：写下来的状态，也要经得起证据检查

显式记录状态之后，还需要解决一个问题：这份状态本身也是模型生成的。如果它把错误判断写进去，后续决策就可能持续沿着错误的前提展开。

因此，一次行动返回新观察后，PoS 先生成候选更新，再交给 Belief Sentinel 检查。它主要核对两件事：内部是否自洽，以及更新是否得到交互证据支持。比如，同一个微波炉不能同时被记为打开和关闭，只看到杯子被放入微波炉，也不足以把“已经加热”写成确定事实。

发现问题后，智能体结合证据修正更新，经过校验的状态才进入后续决策。公开实现中，如果修复后仍未通过检查，就保留此前已提交的状态。这也为受困检测提供了前提：先核对状态变化是否可信，再判断这些变化是否构成进展。

不过，内部自洽、与观察相容，并不意味着任务一定在前进。智能体完全可能准确记住“杯子还没热”，然后继续查看柜子。识别 Belief Trapping，需要把视线从某一次正确记录，移到一段时间内的信念变化。

Belief Health：让受困成为一个可计算的问题

不能仅凭动作重复，就认定智能体已经受困。相同工具的多次调用可能在收集不同证据，反过来，每一步都换工具，也可能一直绕开关键问题。PoS 因此关注的是：未解决要求持续存在时，经过校验的信念是否仍在发生有助于任务的变化。

它先为每次状态转移标记进展，再在最近 K 次经过校验的转移上观察三个信号。执行任务的单步进展，包括缩小当前缺口、获得必要信息，或推进一条合理的完成路径。诊断任务则看相关推断的置信度是否发生超过阈值的变化。置信度降低也可能代表排除了错误解释，因此同样计入变化。

基于这三个互补信号，PoS 构建了一个可解释的启发式指标 ——Belief Health（信念健康度）：

这里，E、A 分别表示信息缺口与达成缺口，健康度越低，受困信号越强。组合遵循的原则是：持续未解决的要求，与进展停滞或信念重复共同出现时，形成较强的受困信号。内层 max 保留停滞与重复中较强的异常，避免一种明显迹象被另一种较弱迹象稀释；乘以缺口持续度，将异常与长期未解决的要求关联起来；外层 max 则关注两类缺口中受阻更明显的一类。因此，任务尚未完成并不会单独触发受困判断，而部分单步获得正向进展标签，也不能掩盖持续存在的状态循环。

论文设置在积累 8 次经过校验的转移后启动检测，当信念健康度 Hₜ ≤ 0.25 时，进入受困诊断。

Trapping-Aware Recovery：把受困诊断变成行动约束

健康度回答了“是否需要干预”，恢复机制还要回答“该改变哪段行为，以及恢复什么进展”。PoS 将诊断拆成两个维度。

第一个维度是行为模式。Static 表示世界状态局部不变，Cycle 表示在先前出现过的状态间周期性循环，Drift 表示世界状态虽然变化，与当前缺口相关的部分却没有推进。判定按上述顺序进行，无法匹配具体模式时使用通用恢复。

第二个维度是被阻塞的缺口类型。PoS 比较非空信息缺口与达成缺口的持续度，选取更顽固的一类：前者需要能区分解释的新证据，后者需要真正改变任务状态。相同的“原地停滞”，可能分别要求换一种调查方向，或者执行一直被遗漏的动作。

公式中的 表示受困模式， 表示检测窗口，X 是被阻塞的缺口类型，Bₜ 与 Δₜ 分别是当前信念和 Active Gap。两组约束共同作用：模式约束负责打破无效行为，缺口约束负责明确下一步必须恢复的进展。

因此，对原地停滞，约束会抑制无效的状态 — 动作重复，对循环，打破重复转移，对偏离目标，重新对齐 Active Gap。它们还要与另一条要求配合：取得有区分力的证据，或产生与目标有关的状态改变。以杯子任务为例，只让智能体“别再查看柜子”仍不充分，还需要让后续动作推进“杯子变热”这一未完成要求。

恢复约束作为额外条件交给原来的智能体，由它继续选择动作，当前 Active Gap 保持不变。每次新转移经过校验后，系统重新计算健康度：高于阈值就释放临时约束，仍然受困则更新诊断与约束。受困检测、约束生成和恢复后的重新评估，共同构成了一个持续闭环。

论文中的 RCA-100 案例 t024 展示了这一过程。Kimi-K3 智能体已经发现 inventory 服务的慢请求与垃圾回收活动升高同时出现，却迟迟无法区分数据库等待和 JVM 内部处理两种解释。PoS 识别出“原地停滞＋信息缺口”，要求停止无效重复，寻找能够区分两种解释的证据。

智能体随后选择检查 CPU 活动。恢复过程中间仍经历了三次低进展动作，之后获得的 CPU 证据与已有垃圾回收观察共同促成了信念修订。该次运行共执行 28 个动作，最终提交的 inventory /memoryPressure 同时匹配基准标注的故障实体与类型。

实证效果：四类任务、三个模型、全部领先

研究团队在两类任务上评估 PoS。ALFWorld 和 LOCA-Bench 要求智能体通过多轮操作完成目标，RCA-100 和 ClinDiag 则要求智能体持续获取证据，完成故障或医学诊断。四个基准分别评估 134、525、103 和 604 个案例，其中 LOCA-Bench 的整体结果汇总了七种环境描述长度。

实验使用 Qwen3.7-Plus、Kimi-K3 和 GLM-5.3。对每个基础模型，PoS 的执行、信念维护和校验组件都使用同一模型，比较方法覆盖完整轨迹、ACON、PACE、HiAgent，以及显式维护任务状态的 LongHorizon-Harness。PoS 无须为这些任务更新基础模型参数。

PoS 在全部 12 组“基准 × 模型”设置中取得了文中比较方法里的最高整体指标。以 Qwen3.7-Plus 为例，ALFWorld 从最强对照的 72.39% 提升至 88.81%，增加 16.42 个百分点，对应 22.68% 的相对提升；RCA-100 联合准确率从 28.16% 提升至 38.83%，增加 10.67 个百分点，对应 37.89% 的相对提升。

这组结果同时覆盖了“让世界发生目标所需的改变”和“通过证据逐步明确判断”两种任务结构。进一步的消融与恢复对照，则用来检验：持续校验状态、识别受困并施加针对性约束，各自带来了什么。

消融验证：状态校验与针对性恢复均有独立贡献

在 Qwen3.7-Plus 上，移除一致性校验后，ALFWorld 从 88.81% 降至 73.88%，LOCA-Bench 从 56.38% 降至 44.57%。执行任务需要频繁协调环境变化与新观察，这组结果说明，保持状态更新可靠对这类任务尤其重要。

移除受困诊断及恢复后，Qwen3.7-Plus 的 RCA-100 联合准确率从 38.83% 降至 33.98%，三个模型在这一基准上的降幅为 4.85 至 6.79 个百分点。校验帮助智能体维护有依据的理解，恢复则在当前调查路线不再有效时，把动作重新导向未解决要求。

恢复方式本身也有区别。论文进一步保留受困检测，把具体的恢复约束换成通用的“请尝试恢复”提示，在 Qwen3.7-Plus 的四个基准上，PoS 的针对性恢复都取得了更高的最终任务指标。

这种针对性与任务差异相对应：ALFWorld 的受困事件中循环最常见，RCA-100 中偏离当前目标的 Drift 占比为 55.93%，ClinDiag 中原地停滞的 Static 占比为 78.25%。只让智能体“换个办法”，未必能说明它究竟应当换掉哪段行为，以及需要补齐什么。

长上下文鲁棒性：256K tokens 下仍保持优势

LOCA-Bench 还提供了一个压力测试：把环境描述从 8K 扩大到 256K tokens，观察智能体能否在更长上下文中完成任务。随着长度增加，各方法的表现总体下降。PoS 在 96K 至 256K 区间的表现相对稳定，在 256K 设置下，三个模型分别比同设置的最强对照高出 10.67 至 16.00 个百分点。

JOTO 企业落地观察

• 企业部署长程智能体时，若仅依赖 LLM 自身的记忆与推理，极易陷入 Belief Trapping 导致的无效循环。PoS 提供了一套轻量、可插拔的信念管理框架，无需重训基础模型，即可显著提升任务完成率，这对降低企业智能体工程的试错成本具有直接价值。
• 在 RAG 知识工程中，“信息缺口”与“达成缺口”的二分法，可迁移用于诊断知识检索失败的原因：是检索策略未能覆盖关键文档（信息缺口），还是检索结果未被有效整合进决策链（达成缺口）。这为构建可解释、可调试的知识增强流程提供了新视角。
• AI 安全治理需确保智能体行为符合预设约束。PoS 的 Belief Sentinel 机制本质上是一种运行时状态校验器，其“内部自洽+证据支持”的双重检查原则，可作为企业级智能体安全护栏的设计范式，防止信念漂移引发越界行为。
• FDE 驻场共创中，客户常抱怨“Agent 总在做无用功”。PoS 的 Belief Health 指标与 Trapping-Aware Recovery 流程，为企业现场工程师提供了可量化、可干预的诊断抓手，将模糊的“行为异常”转化为具体的“缺口类型+行为模式”组合，大幅缩短问题定位周期。