新智元报道
新智元报道
大模型的记性，比你想象中可能差远了。
一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。
可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。
7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。
捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。
这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。
如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。
这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。
数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。
这篇论文的特别之处，不止它的观点，更在它背后的故事。
两年前，它先被NeurIPS拒了。
Morris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。
奖项一公布，Morris难言兴奋，在X上写道：
别放弃！这轮ICML收到2.4万份投稿，只颁出7个奖项，太不可思议了。两年前的冬天，我还怀疑自己能否完成这个项目。
他一一感谢了合作者，但也没客气：
Meta如今已经不太适合做纯粹的学术研究，这篇在Meta任职期间完成的论文，因为种种原因，差点没能发出来。
让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。
而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。
作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。
这篇论文，算是他这条主线的一次集中交卷。
这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。
ICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。
只是两年前，人们还没意识到他这篇论文的分量。
这篇论文，打破了这些年大家一个默认的认知：
参数越多，知识越多。堆参数、堆数据、堆算力，模型自然更聪明。
其中，一件重要的事一直没人说透：
模型到底是真「学会」了，还是只是把训练数据「背」了下来？
过去，衡量记忆的办法很粗糙。
要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。
但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。
比如，你让模型算两个数相加，它没见过这道题也能答对。
这显然不算「记忆」。
Meta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。
他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。
压缩得越狠，记得越牢。
在这个框架里，记忆被拆成两块。
一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。
另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。
把泛化那部分减掉，剩下的就是模型硬记下来的总量。
拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。
团队训了数百个从50万到15亿参数不等的Transformer，反复测量。
最终，结论都指向这样一个数字：
GPT类模型每个参数能存3.5到4 bit，32位精度下约3.6 bit。一个不到700万参数的模型，容量大约就是23.9MB。
这就是它记忆的天花板。
GPT类模型每参数约3.64 bit，容量随参数线性增长。
要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。
它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。
这个比喻，戳破了两个关于大模型的认知。
第一，你以为大模型把训练数据都记住了？其实根本装不下。
现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。
第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。
这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。
记忆填满的那一刻，恰恰是泛化开始的起点。
数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。
论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。
在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。
模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。
记忆和泛化，在同一个模型里此消彼长。
所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。
这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。
数据越多，成员推断越接近随机猜测（F1趋近0.5）。
既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。
对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。
奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。
如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。
竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？
这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。
同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。
谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。
这意味着，Scaling Law的玩法也得变了。
过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。
可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。
Morris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。
一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。
大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。
Morris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。
Engram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin
2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。
Engram押注的，恰好就是论文测出的那个限制。
模型容量有限，他们就干脆换了个打法：
花训练算力，让模型提前把你的资料「学」进脑子，长出一层专属的「习得记忆（learned memory）」。
他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。
微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。
上线那天，Karpathy还在X上公开道贺。
为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。
Morris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。
在他看来，真正卡住AI的是记性，不是算力。
参考资料：
编辑：元宇
