腾讯科技旗下企鹅智库前沿科技论文解读专栏。在代码与商业的交汇处，寻找AI的确定性。
文｜博阳
编辑｜徐青阳
在科技圈，炒作的周期总是惊人地相似。
2026年9月，整个硅谷和开源社区都在为了一个名为Jev的模型而狂热。
它宣称这是一个「系统一（System One）」模型，自称能够带来颠覆性的变革。
在过去的三四年里，我们已经习惯了那些像连篇累牍的散文家一样的大语言模型（LLM），它们在回答一个简单的「是」与「否」之前，总要先生成几百个毫无意义的思考Token，然后再慢条斯理地吐出一个JSON格式的结论。
但Jev不同，它承诺直接给你判断，给你概率，并且快得令人发指。
开发者们为了这种「快准狠」的接口陷入了疯狂。
毕竟，当你在构建一个复杂的AI Agent（智能体）时，你经常需要的只是问它：「这条记忆是否相关？」「这个请求该交给哪个工具？」「这起事故是否需要人工复核？」。
大家在业务中为了让一个通用大模型为每一个小问题生成文字、解释和结构化代码，付出了太多的token和延迟。从真实需求切入，Jev切中了一个极其痛的痛点。
但是，它真的具有足够的颠覆性吗？
当我们省去了「生成文字」这个过程以后，留在这个黑箱里的判断能力，究竟有多少是来自于原来大语言模型底座的馈赠，又有多少是来自于TypeSafe团队所谓的专门训练？
要回答这个问题，我们可以把Jev的包装一层层撕开，分几个切面来好好讲讲。
01
预测判断的模型比GPT还早
Jev所代表的这个方向，有着一段非常漫长的历史。
早在2018年，谷歌就推出了BERT。它与今天我们熟悉的GPT类模型不同，采用了允许信息双向交流的 Encoder-only（仅编码器）架构，训练模型去完型填空。
虽然后来用来训练续写的Decoder-only（仅解码器）模型（比如ChatGPT）成了主流，但在明确的分类任务上，BERT 依然有它的优势。
靠着能看到所有信息的 Encoder，BERT 可以让文本中的各个位置结合前后文形成完整的特征表示，再接上一个简单的分类层，用标注好的邮件训练后，就能快速做出判断。
而现代LLM 其实也有很多时候被训练成分类器的角色。
2019年，OpenAI在《Fine-Tuning Language Models from Human Preferences》这篇论文中，就已经开始尝试让模型学习人类对文本的偏好了。
到了2020年关于文本摘要的研究中，这条技术流水线变得更加清晰，人类标注员先去比较两份摘要，然后拿它训练奖励模型去学习预测人类到底更喜欢哪一份。
在这个过程中，人类的判断被成功转化成了一个评分函数。奖励模型本身不需要写出长篇大论的评语，它只需要读取问题与回答，然后通过神经网络的输出层直接给出分数。
这实际上也是当下模型学习最底层的模式之一，它就是Jev强烈批判的RLHF。
因此，「继承语言模型的理解能力，但不生成文字」 并不是Jev独有的天才思路。
到了2023年的知名论文《Let’s Verify Step by Step》，这种监督被进一步细化应用到了模型的每一步。奖励模型、验证器和评价指标由不同任务发展而来，逐渐形成了AI工业界不可或缺的几类判断工具。
到了2025年至2026年，相关研究仍在推进。2025年Galileo发布了Luna-2，并在随后的论文中展示了如何将小语言模型训练成「单Token分类器」，通过一次前向计算直接读取目标类别的概率。而 Skywork-Reward-V2推出了从0.6B到8B的奖励模型系列，优化LLM直接评分路线。
从算法实现的角度看，这本身并不困难。对 LLM做一些简单的改变，让它直接从内部的隐藏表示计算候选分数，而不是吐一堆字方法非常多。
在后文的复刻实验中，我们就可以看到三个以上。
那么Jev在这次浪潮中究竟带来了什么不一样的东西？
从目前的架构解密和官方说明来看，Jev的核心差异化体现在两个维度上。
首先，是更加通用的变化，这得益于其全新的后训练方法。
过去的评分器基本都是针对单任务做训练。Jev不再局限于某种特定的评分，而是试图提供一个极其通用的概率接口。
而且这个通用，是对事实概率通用，而非人类偏好通用。
这次 TypeSafe团队把「概率校准」放到了训练目标的绝对中心位置，他们将这种方法称为RLCD（面向校准决策的强化学习）。而传统偏好奖励模型（RLHF）找的是人类偏好的概率，而非真实世界事件概率。
其次，是架构上对并行计算的极致压榨。
Jev改变了信息流经模型的方式。过去的评分模型在并行回答上的修改不多，因为主要目标是训练密集奖励模型，给一个个出来的token打分。
但这次Jev是可以针对同一份材料回答上限250道问题的。只要这些问题之间没有先后生成的依赖关系，就可以被大规模地批量并行执行。
这些都是如何实现的呢？
虽然Jev本身没有具体披露其架构，但根据其实际表现和诸多试图还原Jev的尝试，我们已经可以大概地描述出其轮廓。
02
从测试和还原中，拼凑出Jev的原貌
我们先来看看TypeSafe目前公布了什么。
在黑箱之外，TypeSafe 明确公布的首先是接口。你可以向这个接口提供两种东西，
State（状态）： 相当于一篇长篇阅读理解的原文（比如一段长长的客户投诉记录，或者系统日志）。
Questions（问题）： 针对这篇原文，你可以同时提出好几个问题。问题之间互不干扰。系统收到这些独立答案后，再由写代码的人（你）来决定下一步业务逻辑怎么走。
为了让问题标准化，TypeSafe 把提问方式收束成了三种原语（Primitives）。包括：
Noul（是非题）： 问「是否」，直接返回一个 0~1 之间的概率（比如：这事儿紧急吗？返回 0.95）。
Choice（选择题）： 问「选哪个」，给出几个候选项，返回它们各自的概率分布（比如：转给技术部 0.8，转给财务部 0.2）。
Score（打分题）： 问「程度」，返回各个等级的概率和最终加权得分（比如：客户愤怒指数 4.5 分）。
如果目标是让程序做常见的判断，这三种原语覆盖了很大一部分输出形式，几乎所有的判断都能转化成这三种问题。
最后程序拿到数字，再按自己的规则采取动作。
官方承诺，Jev 只会把 State 读入一次。随后，所有问题会在同一个请求里，针对这份状态做并行且独立的判断。
独立意味着多道题之间不能互相参考答案。如果你的第二道题必须依赖第一道题的结果，就只能分两次发请求。
因此，TypeSafe 鼓励一种叫 「Speculative fan-out（推测性并发）」 的用法：比如处理一篇客诉，哪怕最后发现这不是系统故障，程序也可以在一开始就把「是不是故障」、「故障有多严重」、「该转给谁」全问了。系统一次性并行算出所有答案后，再由下游的代码逻辑把没用的结果丢弃。
目前，这就是我们知道的所有官方公布的主要信息。
在 Jev 受到关注后，Archer Hume 对其进行了一系列黑盒测试，从中我们可以获得很多关于 Jev 如何处理状态文本的洞察。同时，Kev、NanoJev、minojev 等开源复刻项目也如雨后春笋般涌现。
通过对比哪些复刻项目的测试反馈更接近 Jev 本尊，我们就能反向假设出它们真实的内部架构。
虽然不能说这些复刻 100% 还原了 Jev 的本体，但在官方接口文档之间留下的巨大黑洞之间，比如原文到底是怎么共享状态的？普通的候选选项是如何形成特征表示的？它们之间在哪一步互相影响？
我们通过这个透镜也能窥见大致的轮廓。
接下来，我们将用一份具体的请求，重走一遍这个黑箱大模型的「内部消化」流程。
首先，我们需要理清 Jev 实际吞吐的信息结构。一次完整的处理包含了三部分：作为共享背景的 State（例如那篇长长的投诉文本）、若干个独立提出的 Questions（问题），以及这些问题各自对应的 Options（候选项）。
第一站：处理共同信息
如果每道题都要把几万字的投诉从头到尾重新读一遍，题目越多，重复的无用算力就越多。
所以最好的方法就是所有问题都可以只读一遍题然后就都能用。
为了验证 Jev 是否真的做到了「只读一次」，研究者 Archer Hume 查阅了 API 的计费账单与延迟数据：当提交一道最简单的是非题时，计费显示为 268 个输入 token；增加到两道题时，变成了 276 个。多出来的仅仅是新增题目本身的字数开销，系统并没有把共同的 State 材料重复计费。
同时，在题目数量增加到近百道之前，服务端的响应时间几乎是一条水平线。
虽然商业计费规则和批量运行掩盖了显卡真实的运算记录，但这在现象上高度吻合了官方「共同材料只读一次、各题批量计算」的说法。
对于这个信息架构，开源项目 Kev 的还原目前看最为清晰。
Kev 首先一次性处理状态，把计算得出的中间结果冻结在Kv Cache里。接下来，这 50 个问题都分享着这套Kv Cache往下算，这样就不用每个题都读一次了。
第二站：问题拆分
但另一个关键问题是，这些批量计算的题目，真的和官方说的一样互不串台吗？
Archer Hume 为此设计了一个巧妙的「暗号实验」。他在问题 A 中塞入了一句「暗号是 ZEBRA-7741」，然后在问题 B 的选项中，让模型选出「另一道题提到的暗号」。结果显示，Jev 给出正确暗号的概率是 0.00。但如果把这个暗号从问题 A 移出，放进大家共用的 State 文本里，问题 B 给出正确答案的概率瞬间飙升到 0.90 以上。
这构成了题目之间存在严格物理隔离的强有力证据：共同材料对所有问题可见，但相邻问题绝对无法互相「偷看」。
为了保证问题能分隔开，Kev用了两套方法。
第一套方案是注意力掩码，有了它，当系统把 [冻结的投诉原文] + [问题1] + [问题2] 放在一起计算时，只要模型正在处理问题 1，掩码机制就会强行把问题 2 的区域变成数值为 0 的状态，强制它在答题时只能「注意」到共同的投诉原文和它自己。
第二套方案是独立分支复用，带有循环特征或特定架构的底座（如文中提到的 Qwen3.5）时，注意力掩码是分不开的。所以用这些模型时，当模型读完投诉原文，就会以这个冻结的记忆为起点，直接分裂出 50 条平行的高速公路（独立分支）。
因为每一条分岔路都完美继承了主干道上那份已经处理好的投诉记忆，它们同样享受了不用重读原文的红利。
第三站：计算选项
现在，公用了状态，题目也都分别拆出来了，那在拆出来的一道选择题内部，模型到底是怎么去计算和处理那些候选项的呢？
此时，模型面前摆着几个候选项，比如「财务」、「技术」。最传统做法就是线性头（Linear Head）加 Softmax。也就是 Zefan Open-Jev 版本试图复现Jev时采用的模式。
你可以把它完全等同于绝对封闭的「黑屋盲审」。选手「财务」进黑屋表演，你根据一本死板的评分指南（这就是线性头的功能），给了他 80 的绝对分，接着「技术」进黑屋，你给了 90 分。这两人全程没碰面，你也绝不拿他们作比较。最后，你用 Softmax 这个专门算百分比的数学公式，把 80 和 90 这两个死分数，换算成了胜率。
在这个假想的流程里，如果我们在选项池里塞入一个毫无逻辑的干扰项，比如「坏天气」，它顶多是充当分母里的炮灰，让所有人分到的百分比都缩水一点点。但是，因为你给财务的 80 分和给技术的 90 分已经用钢笔写死在纸上了，他们俩之间的「相对赔率」是绝对不可能因为一个炮灰的加入而发生任何动摇的。
但测试者 Archer Hume 的测试证明，新增选项确实会影响到模型的分数差。他给一组正常的选项硬塞进去了「坏天气」这个干扰项，并在十组随机排列的测试中发现，这确实改变了财务和技术的相对赔率。这就直接判了「黑屋盲审」模式的死刑。
既然不是盲审，那就说明选手们在评委给出最终分数前，一定「互相看见」并产生了化学反应。开源界给出了两种实现这种化学反应的图纸。
第一种方案是由 Kev 项目设计的「指针头（Pointer Head）」模式。你可以把它想象成「同场群面」。模型不再把选手关进黑屋，而是把「财务、技术、坏天气」排成一排，让评委一口气全看完。
当评委看到站在最后面的那个选手时，他脑子里已经形成了一个关于这场面试的「整体语境」。然后，评委站在最后的位置，像用手指一样，挨个指回前面这几个选手，根据此刻的整体印象来打分，这个动作就叫指针头。评委在看完所有人之后再回头去指指点点时，心态和参照系已经变了，给财务和技术打出的分数自然也就跟着发生了波动。
第二种方案是「评委会内部讨论」，是由 NanoJev 等项目设计的「候选间注意力模块（Inter-candidate Attention Module）」模式。这一次，模型既不是纯盲审，也不是纯群面。它先让「财务」和「技术」分别去表演，把他们的表现浓缩成一串长长的高维数字评语，这个术语叫特征向量。
这时候，两张评语卡片还是隔离的。 但之后一个单独的小模型会把这两张评语卡片，连同后来塞进去的「坏天气」的评语卡片，一起扔进了一个叫「注意力模块」的会议室里。
在这个会议室里，这几组代表选手的数字（特征向量）会被互相比较权衡。本来财务和技术正比得难解难分，突然多出一张「坏天气」的卡片参与讨论，整个评委会的讨论焦点和对比权重瞬间就被打乱重组了。
经过这番互相拉踩的内部会议后，再给出的最终分数，自然就不再是当初只有两个人的模样了。
为什么Jev非得费尽心机，让这些选项在底层代码里「互相拉踩」呢？这绝不仅仅是为了炫技，而是因为在真实的复杂业务里，正确答案往往不是绝对的，而是「比」出来的。选项本身，其实就是解题的隐藏线索。
比如问埃菲尔铁塔在哪里？候选选项有A.欧洲 B.法国 C.巴黎。那当模型同时看到这三个选项时，这些选项本身，就成了破解这道题意图的隐藏线索。这道题考的并不是大概位置，而是在考验地理位置的最高精确度。
第四站：给出结果
流程的最后一步，就是解出一个具体的分数。
按照 TypeSafe 的官方说法，Jev 会直接返回概率数字，绝不逐字生成文本。
Archer Hume 的外部探测也印证了这一点，当他把候选选项从两个丧心病狂地增加到两百个时，API 返回的响应文本虽然变得极长，但服务端的处理时间并没有等比例拉长。
这说明大模型确实跳过了最耗时的自回归生成（也就是像 ChatGPT 那样预测下一个词）步骤。
那么，这个最终的概率数字到底是从哪里「掏」出来的呢？这个技术实现其实多种多样，主要依赖它们在上一步计算选项时使用的方法。
没有对选项交互做特殊处理的 openjev/openjev 的做法就是在模型本该生成第一个字的那个「作答位置」，直接去读取大模型内部词表中对指定候选字母 Token 的原始打分（Logits）。
加了指针头的Kev 依靠那个能够审视全局的指针头直接输出比对得分。而加了共享模块的minojev 就依靠那个人工外挂的共享评分模块吐出结果。
无论是哪一种提取方式，只要流程设计得当，大模型完全可以抛弃喋喋不休的文本生成，在运算的最末端直接抽取出精确的数学概率，完成一次系统级的自动决策。
到这里，我们已经可以清楚的根据评测和还原，大致给出Jev的架构模式了。
这个架构本身并不复杂，其中也很难有称得上范式革新的部分。虽然确实是一个面对特定场景的优秀工程优化，但也仅此而已。
03
准确率的保证，是后训练
架构只保证了速度，Jev 较高的准确率是如何达成的呢？
靠的就是TypeSafe 称之为 RLCD（校准决策强化学习）后训练方法。既然 RLCD 是个不公开的黑箱，我们也只能从开源社区的尝试中看看它潜在的题目和算法实现方式。
一道用于RLCD训练题的诞生
最简单的就是直接合成，比如Hmm版复刻给出的方式。
研究者让DeepSeek V4.1在代码里列出一百多个工作场景，包括退款处理、故障排查、检索相关性、邮件分流等。
每次选一个场景，再搭配材料形式和出题要求。比如
用一段带无关细节的长消息，写几组退款案例
加入一个容易被关键词误导的案例
每个案例附上四至五道选择、是非或等级问题
DeepSeek V4.1 Flash 随后生成整份材料、问题、候选项、判断标准和答案。
之后测试这个题能不能用就靠接着隐藏原答案，让DeepSeek V4.1 Flash 再重新作答，默认调用三次，要求每次给出选项概率。代码允许至少两次有效回复的题目才能用。
Kev 的方法，则是把当下已有的新闻分类、评论情绪、文本蕴含等数据集统一按规则转换成判断格式「材料＋问题＋候选答案」的模式。
模型再去生成规则和事实，算出答案，再把它们写成文字。
9 月 24 日的 Kev-4B 还尝试利用真实工作环境去构建题目。他们搜集了 5,219 篇真实消费者金融投诉，围绕「涉及什么产品、主要问题是什么」制作题目。题目出来后，只有两位不同的教师模型的判断都与消费者原始填报标签一致时，才保留标签。
为了让这个训练更有效，复原的试题还会特别的出一些成对陷阱题。
比如两道题的规则完全一样，只改掉一个关键名字（比如签字人从有权限的 Mira 换成没权限的 Noah），答案就直接翻转。这种题目能有效防止模型通过Reward Hacking硬背答案，逼着它老老实实去做记问题和答案选项间的深层表征和联系。
训练方法，LoRA加蒸馏就够吗？
目前基本上所有用过后训练方法的复现，用的都是「LoRA+教师蒸馏」这套方法去提高正确选项的概率。
以Winnow 为例，它就选择在 Gemma 4 12B 指令模型上进行 LoRA 微调。LoRA 的作用，是保留底座原有权重，训练一小部分参与计算的修正参数，降低修改模型的成本。
Winnow 同时使用两种监督。一种给出标准答案，要求模型把正确选项的概率提高。另一种提供教师对所有选项的概率分配，让学生向这份分布靠近。只有教师选出的第一名与标准答案一致时，Winnow 才采用第二种监督。
两项都通过交叉熵计算训练误差。交叉熵在这里承担的工作，是检查学生把概率分错了多少。只有标准答案时，正确选项得到的概率越低，惩罚越大。
使用教师分布时，训练会推动学生模仿教师对各选项的分配。比如教师给 A、B、C 分别分配 80%、15%、5%，学生就会被要求学到这三个选项之间的区别。
一般来讲 LoRA、蒸馏和交叉熵对于已经准备好题目、答案和参考分布的任务（比如这种预测概率任务）来讲已经足够了，因为它们学的只是一个概率。
但蒸馏其实学的是教师概率，而非RCLD所说的现实概率。采用蒸馏的 Gap如何通过事实 / 教师的配比跨过，目前的复现也没有什么明确的思路。
理论上讲想实现Jev的宣称，那只能靠更大的数据量级和更有样本效率的学习方式。
当然如果这么个小的判断模型就能达到大模型的判断准确度，那没解决这个它也是非常有用的。
校准，可能仍然是绝招
除此之外，Jev还有一个绝招，就是它宣称的校准能力。
模型答对了多少题，与它是否准确表达把握，是两件事。一个模型可能只答对七成，却总报九成把握。
为了验证 Jev 是不是在盲目自信， Archer Hume 还做了一场「测谎实验」。
他先给 Jev 喂了 1200 道 MMLU（大规模多任务语言理解）测试题，然后把所有被选中的答案按系统报出的概率分成了十个档次。经过复杂的加权计算，Jev 的校准误差只有 0.031。
在 30 道简单的三位数乘法中，Jev 答对了 86.7%，而它自己报出的平均把握是 83%，非常吻合。当题目换成难度较大的「两步应用题」时，它的正确率暴跌到 32%，关键是，它报出的平均把握也跟着乖乖降到了 30%。
对此，后训练一般确实可以改善概率表现，但很多时候会让模型更加盲目自信。
为了还原Jev比较准确的校准能力，复刻版本用了一些方法。例如 Kev 会明确要求模型在证据缺失时降低确定性。它在训练集里加入了关键证据被移除的样本，然后在答案中把他们的概率降低，因此模型会因无依据地把概率集中到某个选项而受到惩罚。
不过更多的复现做的只是一种治标不治本的温度校准。
工程师会拿出一小批模型没见过的测试题让训练好的模型做。如果发现模型过度自信，系统就会通过这批题，计算出整体自信度究竟该往回调多少格。
旋钮一旦调好，模型以后再输出概率时，就会被迫戴上一个谦虚滤镜，变成一个更平缓的概率。
这不会改变同一道题的选项排名，因此最高概率答案不变。但概率门槛和按概率计算的评分可能改变。
这招还是比较有效的。比如 Kev-9B 在做完温度校准后，校准误差就从约 10.6 个百分点降到 4.2 个百分点，而答对的题数没有变化。
说它治标不治本，是因为这其实来自整体自信的调低，而非来自更准确地区分自己是否应该自信。
假设Jev真的实现了校准率的有效提升，那可能他们在这里还真的有些绝活儿。
04
Jev的适用边界，到底有多大？
Jev 毫无疑问是有现实应用意义的。它把那些本来只需要快速决策的任务，还原给了快速的决策本身。
在Agent整个流程中，请求分类与路由、检索结果排序，有明确要求的逐项检查非常多。这些都是Jev可以发挥作用的地方。
比如客服分流、商品归类、反馈分析、数据标注，都是我们在日常任务中常见的高频场景。
但它的适用边界有多大，决定了它是否是它宣称的具有范式价值。
从目前的Benchmark看，它确实相对有一定通用性。Nimble 团队用 13 组、共 3,880 条公开数据测了事实核查、意图路由、语义蕴含、内容审核、医学问答等任务，Jev 按数据集平均的准确率为 76.0%。
这说明jev确实能够承接多种判断工作。
但真正的通用还有两个坎。
第一个是困难任务，如果只能做简单判断，其适用范围就很有限。
首先我们要先定义什么是判断中的困难。一般我们认为，步骤越多、条件越多、细节理解要求越细致的问题越困难。
识别「用户想退款」只需理解字面语义，但判断「这笔退款该不该批」却需要核对日期、计算期限、对比条款的优先权，明显更难。而如果一个判断需要推理三步才能到结果，那第三步需要第二步的结果，这就是多步骤的依赖。 在第一步找错政策，后面的计算即使完全正确，最终也会判错。
在 JevBench 的困难题测试中，JevBench 规定了一些判断题相关难度的因子，包括多条件判断、连续查找证据、比较日期和数字三个选项。在这批题里，Jev 的多步查找准确率为 85.7%，长政策判断为 60.5%，时间与数字判断只有 26.7%，都远逊于Flash级的模型。困难题合计，Jev 答对 74.1%，DeepSeek V4.1 Flash 为 95.0%，和人类专家差不多同水平。
虽然相应测试的请求中位耗时约为 0.67 秒和 3.15 秒，jev的速度快了近四倍。但如此大的准确率差距，对于一些要面对复杂任务的判断（比如大家都希望的炒股）来讲，做什么选择基本不言而喻。
而且这里的多步查找准确讲并不是多步推理，其中主要涉及查找。在Archer Hume的测试中，Jev在简单乘法下正确率高达 86.7%、但换成两步应用题正确率就一下下降到了 32%。
briantrust做了一个更细致的测评，也可以看出jev在困难问题上的跛足。它对比了jev和GPT 5.6 Luna模型，让模型从两个候选回答中选出正确的一个，最终比较了 616 道有效题对。两个模型在知识题差距只有 1.6 个百分点，数学与推理扩大到 19.3 个百分点，代码达到 20 个百分点。
因此困难判断这个坎儿，jev很难说自己已经闯过去了。
另外一个坎儿就是泛化。
如果jev真的能通用，它应该能够做到比较好的泛化，从它学习的东西里能提升其他问题判断的精度。
否则的话，它只是一个适用范围稍微广一点的「专用判断模型」，和之前的判断模型拉不出什么差距。
现有的多项直接测试证据可以证明 Jev 确实具备一定的泛化能力，但这种能力在领域内极不稳定。而一旦跨出熟悉的场景，它的表现依然面临巨大风险。
首先，在完全相同的任务和事实下，Jev 的判断极易受到信息呈现方式的干扰。OpenProse 实验在不改变任何事实、问题和计算量的前提下，当关键关系被集中放在文本靠前的位置时，Jev 的正确率为 80.5%，但当这些关系被移到中间时，正确率直接腰斩至 40.9%。
这表明，即便没有更换业务领域，Jev 的表示稳健性也严重不足。它的判断能力高度依赖于外部程序如何给它喂数据。
其次，当面对同一评测体系下的新题目时，Jev 的表现波动也很明显。JevBench 新版 v1.4 增加的 308 道封闭难题，Jev 的正确率从公开题的 86.6% 暴跌至 36.7%，作为对照，使用思考模式的 DeepSeek V4.1 Flash 则维持在了 94.8%。
Jev 过去在公开题上取得的高分，无法自动延续到未知的复杂测试中。
当测试进一步推向真实的业务迁移时，Jev 的表现同样喜忧参半。正面例子来自 Agent Journal 的提示注入检测，Jev 在原测试集上的准确率为 83.65%，直接迁移到另一份包含两千多条外部数据的测试集中，准确率甚至提升到了 95.58%，远超传统基线模型。
这说明在某些特定任务上，它确实能适应数据来源的变化。
但在逻辑更复杂的业务中，这种泛化往往会失效。Scarif Labs 曾用它来判断软件更新是否安全。当把模型从一个软件生态搬到另一个生态时，Jev 区分安全与危险更新的能力指标（AUROC）从 0.851 降到了 0.605（接近随机乱猜的 0.5）。
因此，我们至少可以说，目前Jev的泛化应该是比较有限，且存疑的。它距离通用泛化的标准，还差得很远。
既然Jev没有迈过通用的这两道坎，我们现在应该在什么地方用它呢？
更合适的定位，是把 Jev 放在标准明确、证据集中、判断结果能够被检查或纠正的环节。
仍然以退款为例。判断用户有没有表达退款意愿、投诉涉及物流还是商品质量、是否需要补充凭证，都是可以单独验证的语义判断。这些问题出现频繁，通常不需要生成一段解释，也不必每次都让主模型展开推理。Jev 可以在这里承担初步分流。
但要批准退款，事情就变了。是否超过期限，需要代码核对日期、退款金额，需要按规则计算、遇到条款冲突或例外情况，还要进一步审查。TypeSafe 自己也建议，把数学运算和日期比较交给代码，并尽量减少判断中的多层依赖。
这样分工，才能把它的速度用在合适的位置。
至于更依赖精度的用途，例如奖励模型，要判断的往往正是那些表面合理、实际有错的回答。模型还需要分辨细微差异，抵抗表达风格的干扰。
而对于那些规定规则都比较困难的任务，比如包含比较主观的评价的规则，至少要先试试jev的准确率后再部署。
这时候，Jev 可以作为候选方案，但采用者仍需要任务专门的评测。
此外，还有一笔账不能漏掉。Jev 自己响应快，不代表加上它以后，整个 Agent 就更快。
如果它能提前处理一批简单请求，让这些请求不再调用主模型，速度和成本优势就有机会兑现。
但如果每次都先调用 Jev，随后仍要调用同一个主模型，那么新增的判断必须省下足够多的后续工作，才能抵消自己的耗时与费用。
在 GitHub 上的一组 Agent 记忆检索实验中，系统引入 Jev 来判断检索到的信息是否有用。为了避免 Jev 错误地丢弃有用信息，开发者不得不反复调整判断标准。
虽然最终让 20 个常规案例全部通过，但代价明确，系统的总延迟从 649 毫秒升至 1087 毫秒，每千次调用费用也翻了两倍多。
如果主模型本身就具备从繁杂材料中筛选答案的能力，在前面硬加一个 Jev 作为判断器，不仅多了一道等待时间，还承担了因误判而漏掉关键证据的风险。
05
Jev的颠覆性，到底有多真？
讨论到最后，Jev留给我们的核心问题是，它到底在学习什么？
按理说，一个用于判断的模型，它学习的表征就是通过新增的事实，来作出有效的判断。
这几乎是难度最高的表征之一。
通用判断需要同时调用多种能力，不能因为最后只输出一个概率，就认为它比生成答案容易。
拿退款举例。看到「我想退款」，识别退款意愿，主要依赖语言理解。但问「按这份政策，该不该批准退款」，模型必须理解政策，把购买日期、商品状态等事实对应到具体条款，再处理例外。
这基本上是Jev背后语言模型的能力底座。
最后一个问题「退款是否有助于留住这位客户」，就需要预测行为后果。这才是模型需要训练的部分。
它需要学会哪些事实影响结果、在什么条件下影响，以及换个场景后这些关系是否仍然成立。
三道题都可以输出「是的概率」，背后需要的知识和计算却不同。
为了跨过了从「预测别人怎么判断」到「可靠预测行动后果」的距离，我们到底需要多少数据和训练？
至少对于人来讲，决策的综合判断，是最难学习的一件事。基本上和我们之前文章中提到的品味、综合的功利计算一样复杂。
因此，我非常怀疑这篇文章目前揭秘的这套学习方法是否能承载这样复杂的表征。
当然，我们可以将 Jev 视作一个极具巧思的工程利器。
在规则清晰、材料齐备的业务管线里，它能大幅削减等待时间与算力成本，价值毋庸置疑。
但在证明它确实学到了某种通用的判断法则之前，让它戴上「范式革新」的王冠为时尚早。
