淘宝直播数字人互动Harness-Aware Training实践：让Agent Model随Harness一起进化

图1 直播数字人系统及互动Agent在链路中工作的位置

在直播电商场景中，数字人主播需要：

• 实时回答观众弹幕中的商品问题（价格、优惠、规格对比等）；

• 执行运营策略（调整讲品顺序、触发优惠话术、处理售后问题等）；

• 公开口播到整个直播间（回复会通过 TTS 合成为语音，由数字人公开说出）；

整体流程如图1所示，观众请求与直播间上下文由交互智能体处理；生成的文本回复被转换为语音，经由数字人生成器渲染后，广播至直播间。我们的互动Agent算法主要作用为接受弹幕请求（如果是多个弹幕在同一时间段内发送会合并为同一请求），理解观众意图，并通过业务工具获取能够回复的信息，最终按照业务SOP进行回复。

数字人主播的每次回复是面向整个直播间的公开发言，这意味着一次错误回复（比如虚假承诺、价格错误）可能引发客诉。这对算法的准确性要求极高。

💡TAKEAWAY：

• Harness Evolution非单调性：更多规则不一定更好，长尾 fix 容易引发跨类别回归；

• 早停很重要：当剩余 bad case 都是稀疏长尾时，继续加规则的边际收益为负；

• 人机协同：AI 负责诊断和编辑，人负责确认和决策——全自动Harness自进化目前尚不成熟；

• 版本绑定：每个发布必须绑定Harness commit，否则朝错误方向自进化后无法进行恢复。

▐  4.1 问题定义：固定单一Harness训练导致过拟合退化

图4 Kimi-K3技术报告中同样highlight了harness过拟合问题

Harness Evolution解决了"不重训模型就能改善 Agent"的问题，但它也创造了一个新问题：模型的执行环境变成了移动靶。每次 Evolution 成功推进，模型面对的 Harness 就会不同于它训练时看到的那个版本。图3中所示的Kimi K3原文也讨论了类似的问题。如果模型是通过 Fixed-Harness SFT 训练的——即只在训练时的单一 Harness 配置上做监督微调——它就会产生表层过拟合，这与上图中Kimi-K3在后训练中所定义到的问题相同：

• 记住特定 Skill 名称，而不是理解 Skill 的语义；

• 根据熟悉的 schema 字符串选择工具，而不是读取工具描述；

• 只在特定 Prompt 格式下遵守规则。

我们的预实验结果清楚地展示了这一问题：

Fixed-Harness SFT提高了业务指标，但同时显著损害了通用指令遵循能力和 Prompt 鲁棒性——而这恰恰是模型适应新 Harness 所需要的能力。

为了解决这个问题，我们提出了Harness-Aware Training，在训练中显式引入变化的Harness分布，从而使得模型能够理解其所在的Harness环境，避免拟合到一个特定的Harness上，从而达到可随着Harness进化而进化的目的。

▐  4.2 Harness状态增强

Harness-State Augmentation（HSA） 是我们的核心方法。它的核心假设是：当训练数据只包含一个固定 Harness 时，模型会过拟合到某个捷径上——通过字符串匹配而非语义理解来做决策。而我们的目标是让模型没法直接通过背pattern的方式来走捷径，因此HSA沿五个维度对Harness进行扰动，每个维度针对性解决一种特定的表层依赖。

▐  4.3 HAT训练Pipeline

完整的训练 Pipeline 包含三个阶段，每个阶段解决一个不同的能力缺口：

HSA-SFT 从真实直播间交互数据出发构造训练样本。流程如下：

1. 数据准备：每个样本包含观众问题、直播间/商品上下文，以及对应的 Harness 配置；

2. HSA增强：对Harness状态进维增强，强模型（DeepSeek-V4-pro）分别在原始和增强Harness下生成候选轨迹标签；

3. 质量过滤：用Judge根据准确性、有效性进行过滤，只保留高质量样本；

4. SFT 训练：学生模型在多种Harness变体下学习相同任务语义。

Hook 重试轨迹的处理策略： 生产中 Hook 可能提示格式错误并要求修正。我们希望模型学会纠错，但不希望它学会"先出错再靠重试"的策略。因此：

• 绝大多数重试轨迹：删除中间失败和 Hook 交互，只保留最终正确行为；

• 少量完整重试轨迹：保留，使模型具备理解 Hook 提醒并恢复的能力；

训练数据规模：万级数量下的RFT执行轨迹，输入数据来自真实数字人直播日志。

Domain-specific SFT（即便是 HSA-SFT）仍可能侵蚀通用能力。为了对抗这种退化，我们进行OPD来恢复模型在SFT过程中灾难性遗忘的通用能力：

• 教师模型：HSA-SFT 之前的基座模型（Qwen3.6-35B-A3B）；

• 数据：Tulu3通用指令数据集；

• 方法：学生以on-policy方式采样回复，最小化与基座模型分布的KL散度；

直觉解释：让学生模型在通用任务上"回忆"起它作为基座模型时的能力。

关键发现：General OPD 在 Fixed-Harness SFT 后带来 +8.5 IFEval 恢复（因为损失大），而在 HSA-SFT 后仅带来 +0.2（因为 HSA-SFT 本身就保留了更多通用能力）。这验证了HSA和OPD的互补性：HSA 预防损失，OPD 修复残余损失。

图6 HSA-RL伪代码：分段对工具调用序列和回复序列进行分别奖励

以HSA-SFT + General OPD训练的模型作为base model，在仿真环境中继续优化策略。HSA-SFT 解决了环境覆盖问题，但它是离线的——模型只从教师的最优轨迹中学习。在真实部署中，Agent 需要处理教师轨迹中从未出现的情况：工具调用返回异常、Hook 拦截触发重试、选错 Skill 需要中途恢复。只有让模型在训练中亲身经历这些情况并从后果中学习，才能获得真正的鲁棒性。

RL 训练设计：

• 优化算法基于GRPO，整合入GDPO的reward normalization策略以及GSPO的sequence-level重要性采样策略；

• 四维奖励信号：准确性（Accuracy）、有效性（Effectiveness）、工具调用合理性（Tool Rationality）、Skill选择合理性（Skill Selection）；

• 工具调用段和回复段作为两个独立的state group分别计算advantage；

• 辅助CoT长度惩罚：抑制不必要的过长推理；

• HSA应用于rollout前：部分rollout使用原始 Harness，部分使用增强Harness；

训练数据规模：千级数量的交互任务。

▐  4.4 仿真环境构建

仿真环境是HSA-RL的基础。它需要实现完整的 Harness Agent 控制流，包含四个组件：

• 输入仿真：经过合规处理后的直播场景日志池中采样真实用户输入：商品问询、闲聊、购买意图、售后问题、多意图弹幕。每个输入配以模拟的直播间状态（商品列表、对话历史、观众行为信号）。

• Harness Agent调度：实现完整的Harness Agent控制流：Skill 路由逻辑、Hook 检查点触发（输入校验、参数检查、回复格式、Skill 加载强制）、多轮交互循环管理。

• 工具执行仿真：工具调用在沙盒化的服务器上执行，返回通过日志还原的真实的商品详情、价格和库存信息。同时注入受控故障（超时、格式错误、权限拒绝）以暴露模型于错误恢复场景。

• 增强Harness配置：环境在增强的Harness状态下运行，从而模拟出Harness变化的场景。

🔑 TAKEAWAY

1. 三阶段各司其职：HSA-SFT 建立Harness鲁棒性，OPD修复通用能力，HSA-RL强化真实交互；

2. 仿真环境的故障注入很关键：没有错误恢复经验的模型，线上遇到工具超时就会崩；

3. CoT长度惩罚：不加惩罚，模型的思维链会越来越长，直接推高线上延迟；

▐  5.1 Benchmark介绍

此外还有：

• Judge校准集：合规处理后的真实直播交互 + 人工标注，用于对齐 Judge；同时也被用于Harness的非训练优化。

• 部署回放集：测量实际端到端部署延迟；

评测维度定义：

• Accuracy（准确性）：二值指标，惩罚事实错误、无依据的商品声明、虚假承诺；

• Effectiveness（有效性）：0/0.5/1 三档，衡量回复是否满足观众意图并提供有用信息；

▐  5.2 Agent-as-a-Judge 与人工标注的校准

图7 Judge Agent自进化过程，横坐标为自进化迭代轮数，纵坐标为Judge结果与人工一致率

我们的评测Judge 不是一个简单的 LLM 打分器，而是一个完整的 Harness Agent——它有自己的 Skills（评分规则）、Tools（商品信息验证工具）和 Hooks。评测 Judge 通过与人工标注的分歧分析进行迭代校准。并由3个模型共同投票打分。经过 6 轮迭代，Judge 与人工标注的 Accuracy 一致率从 81.54% 提升到 90.46%，Effectiveness 从 63.70% 提升到 82.2%。

校准过程：

1. 多位标注员对真实交互独立标注；

2. 使用标注后数据自动校准Agent-as-a-Judge；

3. 最终配置：Accuracy一致率 90.46%，Effectiveness一致率 82.2%；

🔑 TAKEAWAY：评测设计的工程经验

1. 评测Judge本身也可以采用Harness自进化迭代——我们做了 6 轮Judge Evolution达到 90%+ 一致率；

2. Judge 角色必须严格分离——训练reward judge和最终评测judge不能是同一个模型；

3. 校准集和测试集必须分开——校准集只用于Judge校准，不用于模型评测。

▐  6.1 主实验结果对比

关键结论：

• HAT在T1上达到 94.8，超越了最强Top模型GLM-5.2的93.0——用一个35B-A3B的轻量级MoE模型超过了千亿参数级大模型；

• HAT在T2上达到 94.6，与T1几乎持平（仅差 0.2），说明对Harness变化高度鲁棒；

• Fixed-Harness SFT 的 IFEval 下降 7.7 分，HAT 反而上升了 2.0 分

T3测评集是AI生成的多样化场景。Fixed-Harness SFT 导致模型在Prompt Robustness（指令鲁棒性测评）这一测评集子集下下降了4.6分——进一步验证了表层过拟合的假设。

▐  6.2 消融实验

🔑 TAKEAWAY

1. 固定环境微调容易产生过拟合导致泛化变差，用Harness增强（HSA）微调能兼顾任务性能和泛化能力；

2. General OPD能恢复SFT训练后灾难性遗忘导致的基础能力退化，HSA能提前防止泛化退化，这俩方法组合起来整体效果最好；

3. RL阶段虽然能继续拉高业务指标，但在固定环境下会严重掉泛化，必须配合HSA才能防止过拟合。

▐  6.3 Harness进化适应性实验

图8 HAT模型在Harness更新后能直接follow新的指令，Fixed-Harness SFT模型则表现较差

为了验证HAT训练后的模型在真实Harness进化过程中是否能能够真实适应Evolve后的Haress。我们从线上真实流量中抽取 1,500 条数据（500 开发 + 1,000 测试），在开发集上采用此前相同的Harness进化策略对Harness进行进化，然后将使用进化后的Harness接入两个模型进行测试：

HAT 模型的错误减少率是 Fixed-Harness SFT 的近 3 倍。这意味着：当我们通过 Harness Evolution 修复线上问题时，HAT 模型能更好地理解了新的Harness并随着Harness一同完成进化。

▐  6.4 MTP部署加速与推理路径压缩

在单张 H20 GPU 上，我们使用 Multi-Token Prediction（MTP）来加速推理。MTP 的工作方式是：模型的 NextN 头预测未来多个 token 作为草稿，推理引擎通过 EAGLE-style 的猜测解码和验证路径来使用这些草稿。

MTP训练：

图9 MTP loss曲线图

我们在RL阶段采用stage1与stage2训练后的checkpoint，从Qwen3.6-35B-A3B的MTP直接初始化MTP进行训练，采用standalone模式进行训练。蓝色实线会嫁接模式训练的MTP loss曲线，绿色虚线为原生Qwen3.6-35B-A3B模型在相同RL训练配置进行MTP训练的loss曲线。随着RL训练的进行，MTP与主模型的输出分布逐渐拟合。

加速效果（Concurrency=1，单 H20）：

关键工程细节：

• MTP 对 HAT checkpoint 的加速（1.69×）高于 Base checkpoint（1.11×），因为MTP在垂域数据下训练后的投机解码接受率显著更高（平均接受率0.780 vs 0.735，平均接受长度3.12 vs 2.94）；

• MTP 是低并发优化：并发线程数=1-2 效果显著，并发线程数=4-8 加速降到 1.27×/1.19×；

• 开启MTP后质量无损失，略微上升基本为波动；

🔑 TAKEAWAY

1. 如果主模训练过而MTP未跟主模一起训练，MTP是无法使用的（接受率为0）；

2. 开启MTP后质量无损失，略微上升基本为波动；

3. MTP可直接通过嫁接的方式在RL阶段进行训练，此时MTP训练数据直接是主模的输出，反而更能拟合主模在对应域上的输出；

4. 我们也做过freeze住主模，在RL阶段只去rollout产生数据进行MTP训练，同样能work。

推理路径压缩：

图10 在RL阶段对工具调用和回复阶段的CoT分别进行压缩

在RL过程中，我们对工具调用和回复的CoT长度分别进行抑制，避免模型由于输出过长的CoT而导致的回复延迟过长，随着RL训练的进行，工具调用CoT从290.6token压缩到171.2token，回复CoT从93.6压缩到37.0。这直接减少了推理时的生成量，降低了线上延迟。

▐  6.5 延迟表现