腾讯混元 Hy4 preview 正式发布并开源以来，凭借在代码、办公、科学等真实生产力任务上展现出卓越能，受到广泛欢迎。这一模型权重接近 1.5 TB，上线后，开源社区也在呼吁一个更轻的版本，希望在配置有限的机器上运行。
为此，腾讯混元团队通过两项核心技术，把 Hy4 preview 的权重缩小到约 214 GB，大幅降低了运行模型的硬件门槛：
1、Sherry 稀疏三值量化算法：把最激进一档权重压到平均 1.25 比特
2、MIX-STQ1_0 混合精度策略：按校准数据逐层决定每层比特压到多低
Hy4-preview BF16（左）和 MIX-STQ1_0（右）游戏生成能力展示
结果显示，模型从 1.5TB 压缩到只有 214GB，但是基本的任务也都能完成，这对于资源有限的开发者来说，无疑是一个好消息。
技术详解：1.25-bit 极限量化
要把模型压到极限，先得有一个足够低的比特格式，模型里占大头的是路由专家，六成以上的参数都在这里，最激进的压缩就落在这部分，用的是腾讯混元自研的 Sherry 稀疏量化算法。
Sherry 是一种又小又规整的三值量化方法，以四个权重为一组，一起量化成 {-1、0、+1}，并强制每组恰好留一个零。这样一组只有 32 种组合，用 5 bit 就能编码，摊到每个权重平均 1.25 bit，算上分块共享的缩放系数等额外开销，落到文件里的实际开销约 1.31 bpw。基于 Sherry，腾讯混元在 llama.cpp 里实现了 STQ1_0 推理内核，把量化、推理到评测这条链路完整打通。
各个算子速度展示
把 STQ1_0 和几种常见低比特格式放在同一算子上比，STQ1_0 在比特数最低的同时，速度和 IQ1_M 基本持平，明显快过同样想冲低比特的 IQ1_S。
比特压在哪，让数据说话
统一把每层压到同一档最省事，可各层对压缩的耐受度并不一样。社区常用的 UD-IQ1_M 方案，大部分路由专家层都用 IQ1_M（1.75 bpw）。腾讯混元在校准集上发现，与其让这些层统一用 IQ1_M，不如按敏感度逐层分档：敏感的层留 IQ2_XXS（2.06 bpw），不敏感的层用更激进的 STQ1_0（1.31 bpw）。这套逐层混合精度方案，就是 MIX-STQ1_0。
在不增加平均比特预算的前提下，这样逐层分档，整体量化误差反而更低。落到最终模型，MIX-STQ1_0 的路由专家权重不光评测表现更好，还比 UD-IQ1_M 少占了 5 个多 GiB。
模型大小压下去了，能力还在
判断量化好坏，最直接的是看它和原始模型比掉了多少。
压缩后的模型在主流任务上依然站得很稳。长文理解几乎和原始模型持平，多轮长上下文检索和原版基本在同一水平，数学只有小幅回落，整体都在可接受范围内。日常的编码辅助、工具调用、长文档处理和常规问答，它都能覆盖。
从上图能看到，MIX-STQ1_0 量化版在多个主流评测集上和 BF16 原版的差距都在一两分以内，检索类任务甚至基本没掉， 领先 UD-IQ1_M 量化版本。
压小之后，异构设备进行联合推理
通过将模型压到两百多 GB，我们还解锁了一种新用法。
大多数人手里没有一整套同构的高端卡，却常有几台配置各异的机器。过去面对超大模型，问题总是这一台能不能跑，跑不动就只能再买一台更贵的。那么能不能把已有的设备拼起来联合推理？
腾讯混元和 prima.cpp 一起做了验证：在一台 4090 笔记本和一台四卡 A4000 服务器上，两端显存合计 80GB 内存合计64GB，还分处两个局域网，靠 prima.cpp 的异构调度把 MoE 层拆开分配、让计算和权重读取彼此重叠，最终把这个 214 GB 的模型协同跑到了 1.02 token/s，比笔记本单机 offload 快了约 6 倍。如果加更多更好的设备还能大幅提升推理速度和性能。
实验验证了另一种思路：面对旗舰大模型，不是必须采购整套同构硬件，把手边现有的异构设备拼起来也能让它跑起来。
部署硬件 Laptop 4090 (32 GB RAM, 16 GB VRAM) + Server 4 x A4000 (32 GB RAM, 16 GB x 4 VRAM)
