JOTO
Contact us
← AI 智库
开源模型

AI减速浪潮下,开源权重模型的安全责任归属难题

2026 年 9 月 17 日

当AI领导者呼吁放缓前沿模型开发时,开源权重模型因发布后脱离开发者技术控制,引发安全责任模糊问题:原始开发者、部署企业与第三方评估机构的权责边界亟待厘清。

Slowdown illustration
盖蒂图片社

当AI领导者呼吁以更缓慢、更审慎的方式推进前沿AI开发时,开源权重模型(open-weight models)正引发另一项治理问题:开发者发布模型权重后,谁应对这些模型的安全性负责?

在9月12日引发最近一轮AI减速辩论的论文中,Anthropic首席执行官达里奥·阿莫代伊(Dario Amodei)指出,AI开发必须放缓,以便安全工作有足够时间跟上模型能力的发展步伐。OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)及其他AI领导者和研究人员也 呼吁采取更为审慎的节奏。

迄今为止,减速辩论主要集中于前沿AI开发者及其控制自身模型使用方式的能力。然而,一些企业已开始围绕开源权重模型展开实验与构建工作——下载、定制并在自有基础设施上运行这些模型。

例如,Databricks 在其平台上提供 Kimi K3、Qwen及DeepSeek等模型。更广泛的生态系统还包括Meta的Llama和Mistral的模型等众多其他模型。该生态系统远不止上述知名模型:开源平台Hugging Face在8月报告称,其代码库中存有近300万个公开模型,涵盖不同规模与用途的各类模型。

尽管这些模型赋予企业对部署过程更强的控制权,但原始开发者通常会丧失对已发布权重如何被修改、部署及使用的直接技术控制权;不过,许可条款与法律限制仍可对其使用及再分发施加约束。

减速辩论暴露了集中式安全机制的局限性

对于 封闭式(即专有)AI模型,开发者通常掌控系统访问权限,可施加使用限制、监控活动,并在必要时更改或撤销访问权限。

开源权重模型则改变了这一动态。一旦开发者公开发布权重,各组织即可下载并在自有环境中运行这些模型,还可对其进行修改或微调,并可能借助各类基础设施提供商部署它们。

这种灵活性使开源权重AI对企业颇具吸引力,但也令传统AI监管方法更难适用。一旦权重公开,原始开发者对组织如何修改及部署模型的监督能力将大幅削弱。开源供应商在发布权重后,实际上也无法撤回这些权重。

总部位于弗吉尼亚州阿灵顿、为餐饮业构建统一商业与智能厨房平台的公司Qu的首席人工智能官(CAIO)曼努埃尔·舍恩费尔德(Manuel Schonfeld)表示:“所提议的补救措施——嵌入式审计员与持续监控——仅在供应商仍掌控模型时才有效。一旦权重离开开发方场所,这项职责便转由部署模型的企业承担,而非训练模型的企业。”

这并不意味着开源权重模型应豁免于安全要求,因为它们自身也可能带来特有的安全与滥用风险。近期一项由英国政府委托开展的 研究 发现,尽管传统开源软件拥有更成熟的安全实践,但开源AI却引入了涉及模型权重、训练数据、微调流水线及来源追溯(provenance)的额外风险。该综述还指出,有关开源AI安全与治理的研究目前仍十分有限。

更严格的监管规则可能推高开源权重AI的成本

应对这一安全挑战的一种方式是将更多责任置于开发者身上。但若减速辩论导致更严格的合规性与评估要求,则大型AI公司可能比小型开源权重开发者更容易满足这些要求。

最大型实验室拥有处理测试、评估与合规工作的资源,而小型开发者则可能难以满足更严格的要求。

专注于科技企业战略与增长的IT服务公司Digital 520创始人兼首席顾问诺亚·肯尼(Noah Kenney)表示,若企业向小型供应商提出与大型供应商同等的审计与证据要求,合规性要求可能成为一道障碍。“若合规成本有利于大型供应商,企业可供选择的AI公司可能将减少,最终仅剩最大的几家AI公司。”他补充道。

阿莫代伊在其论文中提出的第三方安全评估方案也体现了这一挑战。该方案拟授予独立评估机构类似员工的持续访问权限,使其可进入前沿AI实验室。但该方法在权重发布后应用于开源权重模型时难度加大,因为此时各组织可在未经原始开发者参与的情况下修改并再分发这些权重。

独立评估仍有助于提升AI安全性,但开源权重模型使得确定模型发布后应由谁来监管变得更为困难。

企业可能需承担更多责任

若减速辩论促使各方更重视测试、监控与问责,那么部署开源权重模型的企业自身或将承担更多此类治理负担。

云基础软件测试平台开发商Sauce Labs总裁兼首席执行官普林斯·科利(Prince Kohli)表示,该公司曾与开源权重供应商合作。他指出,开源权重模型赋予企业对模型运行位置、定制方式及数据管理方式更强的控制权;但这种控制权同时也带来了运营与治理责任。

科利表示:“企业在决定部署何种模型时,需评估每种用例的风险。”他指出,开源权重模型可能适用于简单且低风险的任务,而复杂或关乎业务关键的流程则对安全性与可预测性提出了更高要求。

科利表示,一旦企业自行修改并运行某一模型,就必须理解该模型的来源追溯(provenance),管控其可访问的数据,并持续评估其输出结果,尤其是在模型生成代码或驱动可执行操作或影响操作的智能体(agents)时。

肯尼表示,责任划分很可能应依据各方对模型的贡献程度与控制范围而定:原始开发者应对所发布的模型及其已知局限性负责,而企业则应对自身的微调、数据、工具、权限及部署决策负责。

这意味着企业可能需要验证模型、保障其运行环境的安全、监控生产环境中的行为,并留存审计证据。

对企业而言,尤其是部署开源权重模型的企业,安全与治理工作并非止步于模型选型——而是贯穿部署与使用全过程。挑战不仅在于判断AI应以多快速度发展,更在于厘清:当开源权重模型的构建方失去对已发布权重使用方式的直接技术控制后,问责机制应如何运作。

JOTO 企业落地观察

  • 对企业部署而言,选用开源权重模型不再仅是技术选型问题,而是触发全生命周期治理义务:企业须自主验证模型来源追溯、管控训练数据访问权限、监控生产环境输出,并留存审计证据,尤其在模型生成代码或驱动智能体执行操作时。
  • 对智能体工程而言,若底层开源权重模型未经充分安全评估或被随意微调,将直接放大智能体在工具调用、决策链路与行为可解释性上的风险;工程团队需将模型 provenance 审查嵌入智能体开发流程起点,而非仅关注编排逻辑。
  • 对AI安全治理而言,传统依赖开发者闭环管控的模式失效,FDE(企业AI转型)落地必须重构责任框架:原始开发者负责发布模型的已知局限披露与许可约束,企业承担部署侧的环境安全、行为监控与持续评估,第三方评估则需转向对下游部署方的合规审计能力验证。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务,帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们
Contact Us

Start your enterprise AI rollout

Tell us your industry, team, and current pain points. We'll get back to you within one business day to help you decide what to tackle first, what data to prepare, and which platform fits.

WeChat
Scan to add us for a 1:1 chat
JOTO WeChat consultation QR code

Tell us what you need

Once we receive your details, we'll be in touch within one business day.