意外，79%企业GPU利用率竟不足一半

AI领域的竞赛进行到现在，局势似乎开始显得有点离奇……

近期，科技媒体VentureBeat旗下的研究机构VentureBeat Intelligence汇总了2026年第三季度的连续调研数据，结果显示，79%的企业受访者表示，他们的GPU算力至少有一半时间处于完全闲置状态。

这一比例在三个月内始终稳定在77%至81%的高位。换句话说，在这批受访企业中，GPU使用不足已成为一个持续存在的普遍现象。

但更让人费解的是，在这些GPU平均利用率不超过50%的企业中，仍有70%的公司计划在未来12个月内引入、扩充或更换新的AI计算平台。

VentureBeat旗下的研究机构VentureBeat Intelligence汇总了其在2026年7月、8月和9月开展的三轮人工智能基础设施与算力领域VB Pulse调查结果。三轮调查共吸引了385名符合条件的受访者，他们来自员工人数不少于100人的机构，其中也包括代表其主要客户作答的咨询顾问。

一边是硬件在机房闲置，另一边是AI预算账单仍在加速攀升，问题已经显而易见：现有资源尚未充分利用，企业为何还要继续寻找新的AI平台？

再看投资回报。VentureBeat今年9月的调查显示，在64名计划采用新AI平台的受访者中，有58人没有经过财务部门审核的投资回报率（ROI）数据，占比高达91%。

这意味着，相当一部分受访企业在准备下一轮AI投入时，尚未形成经过财务审核的收益测算。

当然，没有经过审核的ROI，并不代表项目没有收益。同一调查中，没有新平台采用计划的受访者也普遍缺少这类数据，但它至少表明，企业AI投资的财务评估，可能还没有跟上基础设施投入的速度。也就是说，AI能力正在快速进入生产环境，但到底花了多少钱、创造了多少价值，仍是许多企业没有完全回答的问题。

这些数字之所以重要，是因为华尔街正在激烈争论AI是否已经形成泡沫，而VentureBeat基于调查提出了一个颇具争议的判断：AI泡沫的风险，可能已经出现在企业内部……

错位的两套账单：闲置的「算力」与烧钱的「API」

表面上看，这种「一边闲置、一边加码」的现象极度违背商业常理，尤其是在多数技术负责人正面临削减AI预算压力的当下：一些技术负责人告诉VentureBeat，在今年秋季的预算季，他们正承受着削减AI账单的巨大压力。

但深入企业内部架构会发现，企业的真实AI需求并没有消失，而是精准地落在了现有硬件根本承接不住的地方。

专业人士和消费者正在使用越来越多的AI，其中大量工作依赖Anthropic和OpenAI提供的前沿模型，这种需求将在未来一段时间内继续支撑这些公司在算力方面的投入。

真正的错配发生在更下游的企业内部：企业当前正同时为两类截然不同的AI支出买单，而这两者之间存在无法逾越的鸿沟：

**恐慌驱动的算力储备：**前两年全球算力短缺的焦虑下，大量企业出于「防踏空」心理提前锁定并采购了GPU集群。然而，硬件到位后，企业却缺乏成熟的内部场景与工程能力将其跑满。

**对闭源前沿模型的路径依赖：**业务团队与工程师更倾向于直接调用OpenAI、Anthropic和Google旗下最顶尖的闭源前沿模型。企业通过这些公司的API按Token付费，或者通过月度订阅、大型云服务商购买模型能力，无法将其直接部署到自己此前掌控的本地或托管GPU上。

这就造成了一个极为讽刺的局面：自建算力成了沉没资产，而调取闭源API的成本却以惊人速度吞噬预算。

今年8月的时候，《财富》杂志就曾报道过，Uber首席技术官透露，由于公司鼓励员工尽可能多地使用AI工具，甚至专门设立了「排行榜」，根据软件工程师使用这些工具的情况进行排名。

结果就是，几个月内便耗尽了2026全年的AI预算，企业不得不宣告「Token狂欢（Tokenmaxxing）」时代的终结。

调研数据进一步佐证了这种结构性割裂：在计划采购新计算平台且GPU闲置的企业中，90%将目光投向了公有云与模型API服务商，仅有8%考虑扩建本地私有集群。与此同时，91%计划引入新平台的企业，根本拿不出任何一份经过财务部门审核过的实际ROI评估。

当然，一部分算力闲置可能是企业有意为之，比如为了应对需求高峰而预留GPU资源，而计划引入的新平台也可能用于替换旧平台。

从「算力军备竞赛」转向「推理经济学」

如果说GPU闲置暴露的是基础设施利用效率问题，那么Agent的普及，则可能让企业面临更加复杂的成本挑战。

VentureBeat预计，**接下来企业AI支出中用于模型调用的比例将越来越高。**尤其是伴随业务从简单的生成式对话迈向多步骤自主的AI Agent，企业的算力矛盾正在被进一步放大。

Gartner预测，到2028年，单个Agent工作流的推理成本将上升5倍以上。

这并不意味着模型的Token单价会越来越贵，事实上，随着推理基础设施和模型效率持续优化，单位Token价格可能继续下降，但真正的问题是，Agent完成任务时消耗的Token数量，可能增长得比单价下降更快。

**其中一个很容易被忽视的成本来源，就是上下文。**以AI编程为例，模型不仅需要理解当前问题，还需要不断读取项目代码、系统指令和历史执行记录，随着任务推进，这些上下文可能在多次请求中重复出现。如果每次都重新处理，成本会迅速累积，这也是上下文缓存越来越受到重视的原因。

NVIDIA工程师在一份技术指南中提到，在其研究的Claude Code会话场景中，首次调用之后，后续请求约85%至97%的上下文可以通过缓存复用，而Anthropic的缓存读取价格，根据模型和定价条件，可以低至普通输入Token价格的四十分之一至十分之一。

对于需要持续执行任务的Agent来说，这种优化可能带来相当可观的节省。

**另一个变量，则是Agent数量。**行业评测机构Vals AI的一项编程任务测试发现，采用主Agent调度多个子Agent的方案，成本达到单Agent的1.8至5.1倍。

然而，在四种测试配置中，只有一种取得了统计显著的性能提升。换句话说，增加Agent可能带来更强的能力，也可能只是让更多模型同时消耗Token。

告别粗放扩张：企业务实自救的路径

面对极高的闲置率与失控的模型调用账单，对于企业来说，或许**粗放式的「盲目采购」正在成为过去。**业内普遍认为，在企业签署下一份算力合同之前，应当优先在既有资产中挤出效率：想办法利用已经付费购买的算力和Token，完成更多实际工作。

具体来说，需要做好以下几件事情：

衡量每项已完成任务的成本，同时考虑GPU算力资源和API调用支出；

测试不同模型和推理强度，确定企业的默认配置：评价标准应当是每项已完成任务的成本，而非单个Token的价格。因为便宜的模型可能消耗更多Token，最终导致每项任务的成本反而更高；

只向Agent提供它实际需要的上下文，并缓存重复使用的内容：无论通过模型供应商API，还是在企业自有基础设施上运行，都应当如此；

只有当任务能够拆分为可并行执行的部分时，才增加第二个Agent；

将常规、高频任务从前沿模型API迁移到运行在闲置算力上的开放模型，例如分类、信息抽取和文本摘要；

利用剩余的GPU闲置时间处理可以延后执行的任务，例如批量推理、模型评测和微调。

最终的目标，是让企业为每一项实际完成的工作，支付更合理的成本。

这也让开篇那组令人惊讶的数据有了新的意义，79%的GPU低利用率，与70%的新平台采用意愿，并不能直接证明AI泡沫已经形成，更不能说明整个AI行业正在走向产能过剩。但它提醒企业：资源投入与实际需求之间，确实可能存在需要重新审视的落差。

过去几年，AI行业习惯用参数规模、训练算力和资本开支衡量进展。随着技术逐渐进入真实业务，这些指标之外，还需要一套更加务实的评价体系：企业究竟用AI完成了多少工作？成功率有多高？节省了多少时间？又付出了多少成本？

对于模型厂商来说，这意味着竞争将不只围绕模型能力展开，还会延伸到推理效率、部署灵活性与整体任务成本。对于企业来说，比继续囤积算力更重要的，可能是先想办法把已经拥有的GPU和Token用好。

毕竟，GPU买来是为了干活的，真正值得关注的，是它最终创造了多少价值…… 在探索如何优化GPU使用效率的过程中，亚博体育APP下载-亚博体育官方网站-YABOSPORTS也提供了相关解决方案，帮助企业更好地管理算力资源。

参考链接：

https://venturebeat.com/infrastructure/ai-bubble-update-79-of-companies-say-their-gpus-sit-idle-at-least-half-the-time-yet-most-plan-new-ai-platforms

https://fortune.com/2026/08/07/uber-ai-spending-tokenmaxxing-is-over-cto/

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：关注AI的，36氪经授权发布。