JOTO
联系我们
← AI 智库
Skill 技能

WorkBuddy新神器,录屏操作一遍就能蒸馏成Skill

2026 年 7 月 31 日

Browser-BC 是一款开源工具,通过浏览器录屏演示真实操作流程,将用户行为轨迹蒸馏为结构化 Skill。其核心工作流包含操作轨迹记录、能力提取、能力归桶和技能生成四步,强调语义级说明书而非坐标回放,并支持与 WorkBuddy 等桌面 Agent 集成。项目适配 Claude Skills 体系,也兼容其他 Agent 平台。

Browser-BC 是什么

Browser-BC 的目的,是给模型一段干净且完整覆盖工作流的上下文,而录屏演示就是最自然的干净上下文来源。

「你不是让模型猜流程,而是把流程亲手演示给它看。」

当然,从它的核心工作流上可以看出,有点类似于浏览器自动化沉淀为 Skill,但又不完全是为了自动化,更多是成为一种技能。

举个例子,现在网上也有自动发文章到某平台技能,这种 Skill 没错是用到浏览器自动化操作。但其核心在于,如何把这个标准流程给跑通

浏览器自动化只是工具,可控的流程和约束才是重点

四步工作流

根据官方的项目介绍,Browser-BC 的核心工作流可以总结为以下四步。

  1. 操作轨迹:用户在浏览器完成一次真实操作,比如登录、搜索、填表、提交。工具通过扩展完整记录页面快照、DOM、可访问性树、点击输入、页面反馈和最终状态。

  2. 能力提取:清洗噪声,比如误点、等待、隐私信息,再按语义切分连贯子过程。

  3. 能力归桶:把提取出的过程性知识组织起来,相似意图合并、特化,形成技能图谱,也就是 Skill Graph。

  4. 技能生成:大模型把轨迹转写成结构化技能卡,只保留意图、步骤、完成判据、避坑点,剥离坐标、DOM 选择器、临时 ID、登录态等脆弱细节。

三个关键设计点

就像 Browser-BC 的项目文件中说的那样,它有以下三个关键设计点

  • 不是 RPA 回放:传统的按键精灵只会录制坐标,页面一改动就废了。Browser-BC 录的是语义级说明书,页面布局变了,Agent 也能举一反三。

  • 蒸馏与执行解耦:强模型如 Claude Opus 蒸馏一次,小模型、便宜模型也能拿着技能去执行,WebArena-Hard 上成功率从 60.5% 提升到 81.4%,ClawBench 上从 32.9% 提升到 68.4%。

  • 贴近 Claude Skills 体系:原生适配 ~/.claude/skills/,但也明确不限于 Claude,WorkBuddy 等桌面 Agent 可迁移复用。

用 WorkBuddy 把工具跑起来

接下来老马会全程使用 WorkBuddy 来进行安装操作,浏览器使用谷歌,模型默认选用 WorkBuddy 目前限时免费的 Hy3

首先,给 WorkBuddy 发送一句话提示词,让其安装 Browser-BC 这款工具。

WorkBuddy 安装 Browser-BC 的提示词界面
WorkBuddy 安装 Browser-BC 的提示词界面

老规矩,有可能会提示你安装失败,这种情况大概率就是你的网络访问不了 Github 网站。可以给老马的公众号发送“github访问”,根据回复的文字去操作。

Browser-BC 安装完毕后,正常会在你的电脑桌面生成一个工具的文件夹,名字叫 JourneyForge-Local

如果没有,你就问一下 WorkBuddy,这个文件夹放在什么路径。不过找不到也没关系,后续安装浏览器拓展程序的时候,WorkBuddy 也会告诉我们路径的。

下一步是让 WorkBuddy 把它真正跑起来,并且写一个WorkBuddy 适配器,提示词就是这样的一句话。

WorkBuddy 编写适配器的提示词界面
WorkBuddy 编写适配器的提示词界面

跑起来后,WorkBuddy 会提示我们,需要把 Playwright MCP 接到 WorkBuddy 里面,并且你还得额外提供一个模型的 API,给 Browser-BC 对接使用。

什么意思呢?就是 Browser-BC 这款工具,它得单独接入一个模型。这就要求你有模型的 API 信息,比如你之前在 Deepseek 开放平台上已经开通购买了一个 API。

老马这里也是填写的 Deepseek 的 API 信息,模型使用 deepseek-v4-flash,把对应的 API 地址和 API Key 一并发送给 WorkBuddy。

WorkBuddy 配置 Deepseek API 的界面
WorkBuddy 配置 Deepseek API 的界面

然后为了后续操作方便,WorkBuddy 提示老马,要不要写一个一键录制→蒸馏→同步的 WorkBuddy 工作流,把这几步串起来。当然可以,直接开干。

WorkBuddy 创建一键工作流的界面
WorkBuddy 创建一键工作流的界面

安装浏览器扩展并开始录制

这一步搞定之后,老马就发送了一句开始录制给 WorkBuddy。结果发现,谷歌浏览器的拓展程序还没安装

WorkBuddy 提示未安装浏览器扩展
WorkBuddy 提示未安装浏览器扩展

按照 WorkBuddy 给出的提示,这个浏览器拓展程序是已经解压好的,是一个文件夹。一般路径位于:你的用户名/Desktop/JourneyForge-Local/extension/dist/chrome-mv3

Chrome 浏览器加载已解压扩展程序的操作步骤说明
Chrome 浏览器加载已解压扩展程序的操作步骤说明

浏览器的拓展程序安装成功后,老马打开了 B 站的网页,准备待会录制一个操作流程。就是在 B 站搜索 AI 的视频,然后挨个点开播放,给每个视频挨个点赞

开始操作之前,在浏览器里面找到我们刚刚安装好的 Journey Forge Local 拓展程序,一般在浏览器右侧的拼图图标点开,列表中就能看到。

Journey Forge Local 浏览器扩展图标位置示意
Journey Forge Local 浏览器扩展图标位置示意

从录制到导入 Skill

打开 Journey Forge Local 拓展程序,先在 Task name 输入一个名称,就好比你要录制的 Skill 的名字,比如老马这里写的是B站自动点赞

然后点击 Start recording,也就是开始录制,这时显示的效果就有点类似于在录视频那样子。老马就可以开始去搜索 AI 视频,给每个视频挨个点赞了。

当然,并不需要说录制很久,象征性地录制几遍差不多了。老马也不可能给几百个 B 站视频都点赞对吧。

录制完毕后,点击 Stop 停止录制,再点击 Upload 上传,就算完成了。

回到 WorkBuddy,给它发送一句话,说录制已经完成并且上传了。WorkBuddy 就会去查你刚才上传的文件,整理导入成可以用的 Skill

WorkBuddy 导入 Skill 的确认界面
WorkBuddy 导入 Skill 的确认界面

这种方式更适合复杂流程

Browser-BC 的整个操作过程可能略显复杂,但比单纯用 Skill 去制作生成 Skill 来说,这种工作流会更靠谱一些

当然,WorkBuddy 配合 Hy3 模型效果不是最好。如果你发现录制后的 Skill 实际运行起来有问题,建议把模型切换到 GLM-5.2Kimi K3 重新录一遍。

WorkBuddy新神器,录屏操作一遍就能蒸馏成Skill 配图 9

JOTO 企业落地观察

  • 对企业部署意味着:当业务流程存在大量非标准化交互(如多页跳转、动态弹窗、权限校验)时,基于录屏蒸馏的 Skill 构建方式,比纯文本描述或代码编写更能捕获真实操作语义,降低对开发者 DOM 理解能力的依赖。
  • 这类系统的取舍在于:蒸馏质量高度依赖原始操作的规范性与完整性;企业需建立“操作示范—录制—验证”闭环机制,而非仅依赖单次录制,否则易引入隐性错误路径。
  • 对智能体工程而言,Browser-BC 所体现的“操作即文档”范式,推动 Skill 从静态函数定义转向动态行为契约——技能有效性不再由代码逻辑决定,而由可复现的端到端行为验证支撑。
  • 在 RAG 知识工程中,该工具生成的 Skill 卡天然具备结构化元数据(意图、步骤、完成判据),可直接作为高质量知识片段注入检索增强管道,避免传统文档切片带来的语义断裂问题。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务,帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们
联系我们

开启企业级 AI 落地

留下你的行业、部门和当前痛点,我们会在 1 个工作日内与你联系,帮你判断适合先做什么、需要准备哪些数据、适合什么平台。

微信咨询
扫码添加,一对一沟通
JOTO 微信咨询二维码
发送邮件
jotoai@jototech.cn

填写需求单

收到你的信息后,我们将在 1 个工作日内与你取得联系。