AI算力泡沫实况：79%企业GPU半数时间闲置，却仍加购新平台

根据VentureBeat Intelligence发布的最新数据，大多数在生产环境中运行AI的受访公司表示，其所使用的GPU至少有一半时间处于空闲状态；且其中大多数公司仍计划增加或更换AI计算平台。

在218名报告GPU利用率的受访者中，高达79%的人表示，其GPU在三个月内每月的使用率均不超过50%。 VB Pulse调查 从7月到 9月。在这些公司中，70%表示，计划在未来12个月内采用一种新的、额外的或替代性的AI计算平台。每月报告GPU空闲的公司占比稳定在77%至81%之间。我们 于周四报道了9月的调查结果；这三个月的数据表明该模式持续稳定。

这些数字之所以重要，是因为华尔街正就AI是否构成泡沫展开争论。10月13日，国际货币基金组织（IMF）警告称， AI股价的急剧下跌可能威胁全球金融稳定。这场争论大多聚焦于AI计算设备供应商——例如英伟达（Nvidia）、云巨头微软（Microsoft）、谷歌（Google）和亚马逊网络服务（Amazon Web Services），以及CoreWeave等专业GPU云服务商——及其是否正在建设超出客户付费能力的过剩产能。我们则转而考察这些客户实际在做什么。

泡沫存在于企业内部

乍看之下，这些数字似乎自相矛盾：为何拥有大量未使用GPU容量的公司仍计划增加或更换AI计算平台？又为何在技术负责人向我指出、今年秋季预算季企业正承受巨大压力以削减AI开支的情况下，仍让GPU处于空闲状态？

对AI的需求是真实存在的，但其落地位置与空闲GPU所在之处并不一致。专业人士与消费者持续增加AI使用量，其中大部分工作通过Anthropic与OpenAI的前沿模型完成。这一需求将在一段时间内继续支撑这些公司在算力上的支出。错配现象出现在下一层级：即正在为两种难以相互替代的AI类型付费的企业内部。

第一种是算力容量。我认为，许多公司在2024年和2025年GPU短缺报道的影响下感到恐慌，因而提前预订GPU容量以防供应不足。我们的调查显示，企业所使用的大量容量处于空闲状态；不过，调查并未询问企业如何获得这些容量，也未询问其是否直接掌控这些容量。

第二种是前沿模型。工程师及其他员工更倾向于使用Anthropic、OpenAI和Google提供的能力最强的模型，通过这些公司的API按token付费、按月订阅，或经由大型云服务提供商采购。其思路是：企业需要最强大的智能能力以抢占先机，经济性问题可留待日后解决。据《财富》杂志报道，优步（Uber）首席技术官普拉文·内帕利·纳加（Praveen Neppalli Naga）于8月表示， “我们正步入所谓‘tokenmaxxing时代’的尾声。” ——此前优步在数月内便耗尽了其2026财年的AI预算。一位《财富》500强企业的AI负责人于10月在匿名前提下向我透露，AI成本持续攀升；尽管该公司预计最终将通过生产力提升抵消这些成本，但目前尚无法确认这一点。

亚马逊网络服务（AWS）、微软（Microsoft）和谷歌（Google）当前均通过其云平台销售Anthropic或OpenAI的模型；而OpenAI于本周三宣布，其 模型将在未来几周内上线谷歌云（Google Cloud） 。OpenAI的前沿GPT模型与Anthropic的Claude模型均为闭源模型，因此由云服务提供商或模型厂商在其自有基础设施上运行，并按token计费，或按专用于该单一模型的预留容量计费。企业无法将这些模型加载至其已自主掌控的GPU上。若要将工作负载迁移至这些GPU，企业必须转向开源权重（open-weight）模型并自行运行。这是一项真正的工程工作，而最廉价的选项自身亦引发诸多疑问：在VentureBeat于10月开展的自有测试中，DeepSeek是所测五款开源模型中成本最低者，而DeepSeek源自一家中国实验室——出于种种原因，许多企业仍不愿将中国模型作为其主力工作模型。 多种原因。

我们的数据从三个方面印证了这一解读：

• 拥有空闲GPU的公司仍在规划新平台。在未来一年内，70%拥有空闲GPU的公司计划采用一种新的、额外的或替代性的AI计算平台。这一比例与GPU使用率较高的公司中74%的规划比例大致相当，统计学上差异不显著。

• 拥有空闲GPU的公司正考虑云平台或模型提供商。在计划采用新平台的公司中，90%将云平台或模型提供商列为选项之一，仅有8%将本地部署或托管GPU集群、或自管开源技术栈列为选项。

• 自行运行技术栈的公司报告了更高的GPU利用率。在通过本地部署或托管GPU集群、或自管开源技术栈运行AI的公司中，56%表示其GPU至少一半时间处于空闲状态；而在所有其他投入生产的AI公司中，这一比例为83%。我们未追问原因。我的推测是：一支自行运行技术栈的团队能直接观察到每一小时的空闲时间，并拥有可填补该空闲时段的工程师资源。

少数计划采用新AI计算平台的公司拥有经财务部门审核的投资回报率（ROI）测算数据。 在9月的调查中，所有计划采用新AI计算平台的公司中，91%尚未获得其财务团队审核过的投资回报率测算数据。当然，部分空闲容量可能是有意为之，因为企业可能为应对需求峰值而预留GPU，且计划中的新平台也可能用于替换旧平台。

下一波节省将来自token、上下文（context）与智能体（agents）

我预计，企业AI支出中越来越多的部分将流向模型使用环节。此处所指即模型厂商与云服务提供商就每次请求收取的每token费用。此类费用很可能持续增长，因为企业正转向AI智能体（AI agents），后者可规划并执行多步骤任务。高德纳（Gartner）预测，到2028年，每个智能体工作流（agentic workflow）的推理（inference）成本将增长超五倍。推理是指模型为响应每次请求所执行的工作。单个token价格虽在下降，但智能体消耗的token数量远超以往，且所用token更昂贵，导致降价幅度无法跟上成本上升速度。 到2028年。推理是指模型为响应每次请求所执行的工作。单个token价格虽在下降，但智能体消耗的token数量远超以往，且所用token更昂贵，导致降价幅度无法跟上成本上升速度。

编码智能体处理的绝大多数token属于上下文（context），即其在每一步骤中反复读取的指令、文档与历史记录。这正是缓存（caching）至关重要的原因。在一份最早发布于3月的技术指南中，两名 英伟达（Nvidia）工程师报告称 ：在Claude Code会话中，首次调用之后的后续调用可从缓存中复用85%至97%的上下文。复用该上下文的成本远低于重新处理： Anthropic对缓存token的收费 仅为正常输入价格的二十分之一至十分之一，具体取决于所用模型。

添加智能体也会成倍增加账单。编码智能体团队（由一名主智能体同时运行最多五名子智能体组成）的成本为单个智能体的1.8至5.1倍；而四种团队配置中，仅有一种在基准测试得分上实现了具有统计学显著性的提升， Vals AI指出。

企业在签署下一份合同之前，应尽可能从其已付费的计算资源和 token 中获取更多已完成的工作成果。在实践中，这意味着六件事：

• 跨 GPU 算力和 API 支出两个维度，测算每项已完成任务的成本；

• 测试并确定公司默认采用的模型及工作强度水平，评判标准应为每项已完成任务的成本，而非每 token 的价格——因为更便宜的模型可能消耗大量 token，导致单任务成本反而更高；

• 仅向每个智能体（agent）提供其实际所需的上下文，并对重复使用的上下文进行缓存，缓存方式既可通过模型提供商的 API 实现，也可依托企业自有基础设施；

• 仅当任务可拆分为并行子任务时，才增加第二个智能体；

• 将分类、抽取和摘要等常规性、高吞吐量工作，从前沿模型（frontier model）API 迁移至运行于闲置算力之上的开源模型；

• 利用剩余的闲置 GPU 小时处理可延后执行的工作，例如批量推理（batch inference）、模型评估和微调；

VentureBeat 10 月 28 日峰会将探讨这些抉择

这些抉择构成了 VentureBeat 智能体基础设施栈峰会（Agentic Infrastructure Stack Summit） 的议程，峰会将于 10 月 28 日在旧金山举行，主题为“更智能的智能体需要更多内存，而最优秀的团队将使用更少内存”。全天活动分为四个部分：

• 应运行多少个智能体： T-Mobile 首席信息官 Jeff Simon、WEKA 首席 AI 官 Val Bercovici、PayPal AI 高级总监 Deepika Khera，以及 Box 首席技术官 Ben Kus，共同探讨如何在控制成本与风险的同时协调多个智能体；

• 应提供多少上下文： Adobe 工程高级副总裁 Anjul Bhambhri，以及 Cisco Outshift 高级副总裁兼总经理 Vijoy Pandey，围绕内存、上下文与协调展开讨论；

• 推理的实际成本究竟几何： Artificial Analysis 联合创始人兼 CEO Micah Hill-Smith，以及 Uber 杰出工程师 Uday Kiran Medisetty，就推理经济学、模型路由及已完成任务的成本展开探讨。该分论坛还包括一场由 WEKA 赞助的专题小组讨论，嘉宾包括 Upwork 的 Sudhanshu Bist 和 WEKA 的 Val Bercovici；

• 是否应自建 AI 工厂： 微软公司副总裁 Reynold D'Sa 将就面向智能体工作负载（agentic workloads）的基础设施发表演讲，另有一场专题环节将聚焦 Omni 与 Acxiom；