JOTO
Contact us
← AI 智库
多模态模型

技术解读|听懂情绪,回应有性格:语音模型的共情与人设能力

2026 年 11 月 10 日

本文详解 Qwen-Audio-3.1-Realtime 模型如何通过融合语义理解、情绪感知、共情策略与人设表达,实现语音交互中的共情响应与角色化表达。方案涵盖结构化标注、策略建模、数据构建、监督微调与强化学习,并在 EchoMind、Stage3-Multi 等四项共情测试及 CharacterEval、Emotion-Cross 等四项人设基准上完成验证。

语音理解:从听懂内容,到理解表达方式

传统的“语音转写—文本理解—回复生成”链路,能够保留用户表达的文字内容,却可能弱化语气、情绪和非语言声学事件。仅依赖转写文本,模型难以区分某些字面相同、实际诉求不同的表达。

我们的方案同时考虑两类信息:

  • 语义信息:用户说了什么,当前话题是什么,与前文存在怎样的关联。

  • 副语言与声学信息:用户如何表达,包括情绪及其强度、语速、哭腔、叹气等声音线索。

这些信息需要结合起来理解,而不是各自独立判断。例如,叹气并不必然意味着悲伤,语速加快也不一定代表焦虑。模型需要依据音频与上下文形成判断,避免仅凭文字或单一声学信号推测用户状态。

语音共情与人设协同示意
(图 1:语音共情与人设协同示意)

策略建模:让共情成为可训练的回应决策

共情回应的重点,是根据用户当下的诉求,选择合适的回应方式。

为此,我们将共情拆解为三类结构化信息:

  • 情绪与声学标注:识别主次情绪、情绪强度及相关声学事件。真实数据通过多模态模型听取音频完成标注,并进行高置信筛选,减少缺乏声学依据的判断。

  • 用户意图标注:区分共情交流、对话控制与功能请求,并进一步识别倾诉、求安慰、求建议、分享喜悦等细分诉求。

  • 回应策略表:结合意图、情绪与声学线索,明确回应侧重、可采用的表达方式,以及应避免的行为。涉及危机场景时,安全要求优先。

同一套策略表贯穿数据生成与强化学习评分,使训练样本中的目标行为与后续优化时的评价标准保持一致。

回应规划:兼顾用户诉求与角色表达

训练样本在最终回复之前包含一段结构化的回应规划,用于组织三类判断。用户表现出了怎样的状态、真正希望得到什么,以及当前角色应当怎样回应。

这一设计将情绪理解、意图识别与表达策略连接起来。模型不仅学习生成一句合适的回复,也学习在不同场景下调整回应侧重:什么时候应该先承接情绪,什么时候可以提出建议,什么时候需要收起玩笑并认真回应。

为控制推理文本长度,数据流水线会对超过约 250 字的推理内容进行压缩,并保留关键情绪依据、用户意图、角色口吻与回应边界。这里描述的是训练数据中的回应规划机制,不意味着这些内容需要向用户展示。

人设设计:表达可以变化,底线保持一致

共情决定回应是否合适,人设决定回应以怎样的性格和口吻呈现。

我们维护了一个可注入系统提示词的人设库。例如,阿侃偏机智直率,黛黛带有俏皮与傲娇感,团团温暖积极,黑土则采用嘴硬心软的损友式表达。面对同一段情绪对话,不同角色可以采用各自的表达方式,同时回应用户的实际诉求、遵守相同的安全边界。

设计上采用角色设定与共享规则分层解耦:

  • 角色层定义性格、语气与表达习惯。

  • 共享规则层统一约束安全边界、语音表达要求与共情原则。

这意味着,角色可以调整表达方式,却不能改变基本行为要求。用户真正难过时,俏皮角色也需要减少调侃;直率角色可以坦诚,但不能以“人设”为理由伤害用户。

语音共情与人设协同示意
(图 1:语音共情与人设协同示意)

数据构建:合成与真实语料互补

训练数据由两条流水线分别构建,再进入统一的后处理流程。

  • 可控合成数据。按照目标情绪与意图分布生成用户画像及单轮、多轮对话,再通过 TTS 合成带有相应表达特征的语音。叹气、哭腔等事件通过标签控制,同一会话保持音色一致,并校验合成文本与原始内容的一致性。

  • 真实对话数据。先通过文本模型完成意图粗筛,再由多模态模型听取音频,精标情绪与声学信息,将音频标注资源集中到相关样本。

两类数据随后经过回应规划生成、人设分配、回复续写、推理压缩与训练格式转换。合成数据提供可控覆盖,真实数据则补充生活化表达与更复杂的语音条件。

两阶段训练:建立基础行为,再优化回应质量

第一阶段采用监督微调(SFT),让模型学习音频条件下的共情与人设表达。输入包含用户语音和角色设定,监督目标包含结构化回应规划与最终回复,帮助模型建立从感知用户状态到选择表达方式的基本路径。

第二阶段采用 GRPO 强化学习,进一步优化回应质量。模型针对同一场景生成多条候选回复,裁判模型依据动态评分表逐条评价,推动策略向更符合要求的方向更新。

评分表由策略表与当前轮次的情绪、声学及意图标注共同生成,重点检查:

  • 是否承接了用户情绪与核心诉求;

  • 是否合理利用了相关声音线索;

  • 是否采用了合适的回应策略,并避开禁忌行为;

  • 是否口语自然、适合语音播报;

  • 是否在保持人设的同时遵守安全要求。

两个阶段沿用一致的行为目标。SFT 建立基本的回应方式,GRPO 则根据具体场景对候选回复评分,进一步优化回应的贴切度、自然度和稳定性。

共情评测:多项测试集联合验证

本次共情评测汇总 EchoMind、内研合成测试集Stage3-Multi、Stage3-Single 以及内研录制测试集 Test-Human 四项测试集的结果,对比 gpt-realtime-2-low、seeduplex-1.2.6.1 和 Qwen-Audio-3.1-Realtime-Plus。下表按测试集展示得分,用于观察模型在不同测试集上的共情表现。

共情评测结果表格
(图 2:共情评测结果)
  • Qwen-Audio-3.1-Realtime-Plus 在四项共情测试中均取得最高分。其中,Stage3-Multi 与 Stage3-Single 均为 4.99,Test-Human 为 4.74,展现了模型在多项共情测试中的优势。

  • 在 EchoMind 上,Plus 得分为 4.03,比 seeduplex 高出 0.33 分,比 gpt-realtime-2-low 高出 0.83 分。这一成绩体现了模型的共情优势,同时在该基准上仍有进一步提升的空间。

人设评测:多项基准检验角色表达

人设评测汇总 PersonaSession 下的 CharacterEval、Emotion-Cross、Advancement-100 与 RMT-Bench 四项基准,比较三个模型在不同人设测试上的表现。各项结果分别展示,不将不同基准的分数直接合并为单一结论。

人设评测结果表格
(图 3:人设评测结果)
  • Plus 在 Emotion-Cross 上取得最高分,四项人设得分均高于 gpt-realtime-2-low。其中,Emotion-Cross 得分为 4.11,高于 seeduplex 的 4.02 和 gpt-realtime-2-low 的 3.99,是本次人设评测中的突出表现。

  • 人设能力的提升仍不均衡。在 CharacterEval 和 Advancement-100 上,Plus 分别为 4.50 和 3.71,低于 seeduplex 的 4.61 和 3.91;在 RMT-Bench 上,两者接近,Plus 为 3.97,seeduplex 为 3.98。这些差距也是后续打磨角色表达能力的重点。

结语

语音陪伴的自然感,来自模型能否结合声音和上下文理解用户此刻的诉求,再选择合适的回应方式。共情策略让模型知道何时先倾听、何时给出建议,人设则让不同角色能够用各自的方式作出回应。

从标注、数据构建到 SFT 和 GRPO,这套方案将共情策略与角色表达落实到训练样本和评分标准中,再通过公开、内部及跨人设评测观察模型在不同场景中的表现。我们希望,用户换一个角色,能听出表达上的区别,也能获得同样符合共情原则与安全要求的回应。

JOTO 企业落地观察

  • 语音智能体在客服、陪伴、教育等场景落地时,共情能力并非“锦上添花”,而是影响用户信任与留存的核心指标;企业需将情绪标注、意图分层、安全边界等要素纳入 RAG 知识工程的元数据体系,而非仅依赖大模型隐式学习。
  • 人设库的分层解耦设计(角色层 + 共享规则层)为企业提供了可复用的智能体治理框架:角色可快速迭代适配业务线,而合规、安全、品牌语调等共享规则可集中管控、统一升级,降低 FDE 驻场共创中的策略对齐成本。
  • GRPO 强化学习所依赖的动态评分表,本质是将企业服务 SOP 显性编码为可执行、可评测的 AI 行为准则;这对金融、医疗等强监管行业尤为关键——模型不是“学会共情”,而是“被训练为始终遵循某套已验证的服务逻辑”。
  • 合成数据与真实数据双流水线构建方式,揭示了企业语音智能体工程的关键矛盾:生活化表达必须来自真实语料,但长尾风险与冷启动覆盖必须依赖可控合成。企业需建立“合成-标注-回测-反哺”的闭环,而非将二者割裂为训练与评测两个阶段。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务,帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们
Contact Us

Start your enterprise AI rollout

Tell us your industry, team, and current pain points. We'll get back to you within one business day to help you decide what to tackle first, what data to prepare, and which platform fits.

WeChat
Scan to add us for a 1:1 chat
JOTO WeChat consultation QR code

Tell us what you need

Once we receive your details, we'll be in touch within one business day.