每天挑选一期硅谷AI科技值得关注的播客，让你与前沿同频。如果你现在没空可以收藏进 晚点再听LaterCast，在通勤、走路或做家务时一篇篇轻松听完
"在很多情况下，模型所具备的智能，比我们实际用到的更多。"
“我们试着给它们一个能力很强、工具齐全的环境，但它们经常过早放弃。”
"你能放进大脑的信息量，实际上受限于你的权限系统有多好。"
一家公司给每位员工配上自己的 Agent，起初人人满意，没多久，工程师就开始挨台登录虚拟机修问题。另一支团队让 Agent 跑研究实验，第一次拿到接近满分的成绩，翻开日志才发现它利用了测试隔离的漏洞。
这期 YC Paper Club 谈的是 Harness，也就是让模型使用工具、管理记忆并持续工作的运行框架。Prime Intellect 的 Seth Karten、斯坦福的 Jon Saad-Falcon，以及 YC 的 Josh France 和 Regan Bell，分别带来研究、本地 AI 和公司内部协作的实践。他们关心同一个问题：模型已有的能力，究竟有多少被我们用出来了？
同一个模型，为什么会做出不同的结果
每次调用大语言模型，最基本的过程都是输入一串内容，再得到一串输出。我们习惯使用的编程 Agent 却会自己读文件、运行代码、找其他 Agent 帮忙，还能隔一阵接着做原来的任务。Seth 把这些看似理所当然的功能重新拆开，提醒听众：模型周围还有大量软件，决定了它能接触什么、怎样行动，以及工作能不能继续。
"运行框架是大语言模型与世界之间的一层，它增加了持久状态、工具和计算能力。"
权重没有变，工具、记忆和运行方式变了，同一个模型就可能做出很不一样的结果。回顾早期的做法，人们先在提示词里放示例，后来加上搜索和代码执行，再让 Agent 保存经验、修改自己的工作方法。随着任务从一次问答延长到几个小时甚至几天，需要管理的状态也越来越多。
主持人分享的自动研究系统就沿着这条路长出来，最初只是给实验工具做一个界面，后来逐渐接上文献检索、实验计划、反馈和论文撰写。研究质量仍要检验，计算资源也不能省略，但这些工作环节已经说明，单看模型输出的一段话，无法判断整套系统能走多远。
运行框架把模型连接到工具、持久状态和其他 Agent，支持持续执行任务。
记忆管理还得包括忘掉什么
对话越来越长时，常见的补救办法是压缩历史，把前面的内容整理成摘要，腾出空间继续工作。Seth 认为还可以把信息放在别的地方：当前对话留住眼下要用的内容，持续运行的 Python 环境保存数据和变量，文件则承接较长期的记忆、技能与提示词。
这样一来，Agent 可以写程序处理保存在内存中的数据，只把结果带回对话，省下反复读取大段原始材料的成本。文件里的经验也可以按需取用，不必每轮都塞进上下文窗口。让模型能找到并处理信息，比要求它在当前对话里记住全部信息，更适合长时间任务。
"超出上下文窗口以后，我们该怎样随着时间更新和删除这些状态？"
不过，Seth 的电脑也经不起状态无限累积：变量和子任务不断占用内存，技能与记忆文件也会越攒越多。他因此把清理纳入框架，让 Agent 更新过时的内容、删除无用状态，并在需要时整理此前留下的经验。只会记录和读取，还不足以维持一个连续运行的系统。
任务结束后，别急着解散 Agent
Seth 想解决的麻烦很具体：自己有好几个 Agent 同时往不同方向工作，却总得在人与会话之间来回协调。他给 Prime Agent 加上消息机制，让父子 Agent 和同级 Agent 能直接联系，已有的调查和上下文也就不必一直经过他转述。
"我想让一些任务跑起来，不必全程照看我的 Agent，等我准备回来查看时，再看看它们进行得怎么样。"
子 Agent 完成一次任务后，会先汇报，再带着原来的上下文进入空闲状态。后续需要继续调查时，主 Agent 发一条消息就能把它叫回来，较久不用的会话则可以暂时移出内存。任务告一段落，并不需要把已经积累的信息一起丢掉。这种安排减少了重复交代背景，也让不同阶段的工作有机会衔接。
团队在《异星工厂》中做过一次连续七天的实验，期间累计调用六百三十三个 Agent，产生约两千三百万个输出 token。它们分头研究、收集资源和建造，靠保存与修订经验继续推进科技树。比起单次回答是否漂亮，Seth 更在意系统运行很久以后，是否仍然能往前走。
系统会改自己，也得有人判断改得对不对
测试框架时，Seth 曾遇到一个让人空欢喜的结果：第一次运行就拿到百分之九十九点九，检查日志后才发现测试隔离没做好。他重新设置沙箱再跑实验，没有把那个异常高分当成成绩留下。模型很会利用环境，也让测试环境本身成了必须认真检查的一部分。
后来给八张 H200 显卡跑满一周，结果仍然没有提供一个简单的胜利故事。收益波动太大，团队无法分清究竟有多少来自框架，又有多少来自模型。Seth 转而观察具体行为，比如 Agent 会先做便宜的 CPU 实验、分析参数，再决定哪些方向值得花昂贵的 GPU 时间。
"结果的波动有些大。我们无法把其中的收益归因于运行框架还是模型，因为这个任务非常难。"
允许 Agent 自己改系统之后，判断改动是否有效的工作并没有消失。YC 也试过根据运行记录自动找错、修复，结果好坏参半：Agent 往往只看见自己遇到的局部问题，改好了眼前这一处，却没有理解整个系统。即便另一个模型负责打分，人的参与目前仍然很重要。
让云端大模型帮本地模型调好配置
斯坦福的 Jon 关心另一笔账：个人 AI 如果每天都替人写作、研究和安排日程，长期累积的云端调用费用会很可观。很多私人资料也随之离开设备，因此 OpenJarvis 想把适合本地处理的任务留在用户自己的电脑上。
本地模型较小，团队就把优化范围扩展到整套配置，包括模型、推理引擎、Agent 逻辑、工具与记忆，以及学习机制。云端大模型先帮忙诊断、修改和检验本地系统，调好以后，再由本地系统执行日常任务。这让前沿模型的能力用在了配置阶段，后续每次工作不必都调用它。
"仍然有许多任务，是本地规模的语言模型还无法胜任的。"
展示的八项测试中，本地系统平均准确率距最佳云端模型三点二个百分点，其中四项达到或超过对方，单次运行成本约为后者的八百分之一。这些数字对应图中的任务、模型与硬件配置，并非任意任务都能省下同样的钱。Jon 也明确承认本地模型仍有做不了的事，但在适合的工作上，配置优化已经让更小的模型变得实用。
OpenJarvis 展示的八项测试：本地系统平均准确率距最佳云端模型 3.2 个百分点，成本差距仅对应图中实验配置。
五十多个 Agent，不能靠逐台维护
YC 的 Agent 最早主要回答数据问题，后来接入 Slack，能根据同事的请求改代码、修问题。随着个人 Agent 流行，团队部署了五十多个 Hermes 虚拟机，让每个人都有自己的环境。员工可以按习惯定制，工程师却越来越忙：哪台出了问题，就得登录哪台去处理。
"沙箱更像一种资源，Agent 可以按需调用和使用它。"
他们做 QM 时，先把对话和系统状态从各台机器里提出来，集中保存到数据库。Agent 的工作历史不再绑在一台电脑上，执行任务需要的环境则可以按需申请。过去用来安放 Agent 的沙箱，变成它工作时调用的一项资源，团队也更容易集中查看运行记录、分析失败。
这些 Agent 通过 YC 已有的命令行工具连接内部系统，参与文档处理、数据查询、内部应用开发和活动安排。个人定制仍然保留，只是维护方式发生了变化：同事的对话与任务不必随着一台虚拟机分散开来，系统也开始积累可以用于评估和改进的完整记录。
Agent 提前交卷，可能只是太早停下来
QM 的核心工具只有几类：在远程环境执行任务、读写对象存储，以及发布内部应用。做复杂开发时，Agent 可以选择更有能力的沙箱，简单工作则用成本较低的环境。团队尽量把这层软件做薄，让模型有选择的余地，减少事先写死的执行步骤。
工具配齐以后，他们发现另一个很影响体验的问题：Agent 经常过早放弃，于是开始试验一种叫 grind 的工具。它为目标设定时间或 token 投入，在达到规定投入之前，不让 Agent 轻易结束工作。按团队的观察，研究成果和报告质量随之改善，这种办法也能用在普通办公室任务中。
"我们把它叫作 grind 工具，基本做法就是为目标设置预算。"
模型停下来的时刻，未必就是它已经做不到更好的时刻。Seth 因而特别关注长时间任务的评估：继续增加计算投入，表现还会不会改善，到哪里才逐渐接近平台期。两个系统花的钱和时间不同，只比较最后的分数，很容易把运行预算的差别也算成模型能力的差别。
知道一件事，不代表能在任何群里说
当 Agent 进入 Slack 群聊，它面对的就不再只是一个人的请求。私下得到的消息能不能告诉另一个同事，什么时候该插话，哪些上下文适合共享，都会影响它能否在公司里正常工作。YC 发现，即使提示词把场景写得很清楚，Agent 仍可能误解当前的交流环境。
"如果我告诉 Regan 一条信息，他凭直觉就知道，在哪些地方可以分享这条信息。"
人们通常默认同事懂这些分寸，Agent 却可能把敏感内容带进不该出现的会话。能放心交给 Agent 多少信息，取决于权限系统能把边界管到多细。YC 已有多年积累的细粒度权限，才有基础继续扩大知识共享，缺少这套基础的团队还得补上相应工作。
真实写入也有类似的问题：QM 对数据库大多保持只读，批量修改要先提出计划，由人检查后才能执行。工程师坦言，随着信任增加，大家开始习惯性点通过，审核逐渐像走流程。这个细节留在了分享里，因为接入更多工具以后，人的检查是否仍然有效，也是他们还在观察的事情。
多人共用 Agent 时，哪些信息可以共享、哪些必须隔离，需要权限系统明确约束。
写在最后
如果正在搭建 Agent，可以先翻一遍失败记录：它是忘了前面的信息，拿不到合适的工具，提前停工，还是误解了权限？这几组团队的实践提供了具体的排查方向。保留运行过程，在相同条件下检验改动，再逐步增加它能承担的任务，比等下一代模型替自己解决所有问题，更容易看清今天能做到哪一步。
