AI模型选择为何已成为基础设施决策

随着AI产品组合的扩展，首席信息官（CIO）日益需要为每项AI工作负载匹配恰当的模型、算力容量与基础设施组合，同时在利用率、性能、可预测性与成本之间取得平衡。

企业级AI正迅速演变为一个产品组合管理问题。随着AI产品组合不断扩展，CIO日益需要为每项工作负载匹配恰当的模型、算力容量与基础设施组合。当工作负载在性能、利用率、可预测性及成本要求方面存在差异时，“单一模型、单一部署”的方式将愈发不切实际。

开源模型增加了选择空间，但也带来了更多关于GPU算力容量、基础设施及推理服务环境的决策。因此，CIO面临的挑战在于：如何将工作负载与恰当的模型、部署方式及基础设施组合相匹配，同时避免引入不必要的复杂性。

不同工作负载需要不同的部署模式。

随着AI产品组合的扩展，没有任何一种部署模式能够适用于所有工作负载。按令牌（token）计费的推理服务在灵活消费至关重要的场景中依然具有价值；而针对具有持续性需求或对算力容量、延迟、吞吐量及成本可预测性要求更严格的工作负载，专用算力容量则可能更为合理。

应对该权衡的一种方式是采用微软Foundry平台中的托管计算（Managed Compute）。 作为一种托管式部署选项，它允许客户自主掌控影响推理性能与经济性的各项决策——包括模型选择、加速器类型、算力容量及运行点（operating point）——同时由微软负责管理大部分底层推理服务环境。

客户还可根据工作负载需求的变化，在Foundry中将托管计算与其他部署方式结合使用。

专用算力容量改变了成本方程。

将开源模型推理投入生产环境，既改变了其经济性，也改变了技术选型。

专用算力容量意味着围绕预期工作负载需求来配置资源，而非仅依赖灵活的、按用量计费的消费模式。这为团队规划可用算力容量、延迟与吞吐量提供了更清晰的基础。预算负责人亦能更清晰地掌握基础设施消耗情况，以及算力容量、利用率、性能与成本之间的关联关系。

随着AI使用规模的增长，这种可见性使组织得以更坚实地依据利用率、性能、可预测性与成本（而不仅仅是表面的令牌价格或基础设施定价）来横向比较不同工作负载。

在专用算力容量模式下，经济性取决于已配置GPU资源的利用效率：GPU小时成本、利用率、吞吐量以及完成的工作量，均共同决定每个令牌或每次推理请求的有效成本。因此，工作负载特性与预期需求成为总拥有成本（TCO）计算的核心要素。

减少运维时间，更多聚焦开发。

在专用基础设施上运行开源模型可能带来大量运维工作，涵盖运行时环境的配置与优化、软件维护、漏洞修复及安全更新应用等。托管式推理服务环境可大幅减轻此类负担，使团队在保有对影响性能与经济性之工作负载决策控制权的同时，减少在底层基础设施管理上所耗费的时间。

恰当的模型需要恰当的基础设施。

不同模型对基础设施提出不同要求，这些差异可直接影响性能、GPU需求及工作负载经济性，因为GPU内存既要承载模型本身，也要承载其所服务的用户数量。

AMD Instinct MI300X 在Foundry平台的托管计算中提供了一种高内存加速器选项，单颗GPU配备192 GB HBM3高带宽内存，八卡部署总计约1.5 TB。正是这一内存容量，使得Z.ai GLM 5.3 Flash（一款参数量达3200亿的模型）可在Foundry平台上仅用四颗MI300X GPU进行部署，并支持512K上下文窗口。同一模型所需GPU数量越少，需配置的基础设施就越少，成本也越低。 这一切均由ROCm驱动——AMD的开源GPU软件栈，它使得开源模型及其配套推理工具可在Foundry平台的Instinct加速器上运行。

因此，加速器的选择对于协调基础设施需求、性能与经济性以匹配工作负载至关重要。

规模化生产环境下的产品组合决策

AT&T为此提供了实践中颇具参考价值的范例。其面向电信行业的AI倡议OTel2.0，即采用Foundry平台的托管计算处理海量行业专属数据，并为工作流的不同环节支持多种开源模型。

“Foundry托管计算为我们大规模获取GPU算力容量提供了通道，使我们的团队得以专注于推进OTel2.0，而非管理基础设施。” ——AT&T数据科学与AI副总裁马克·奥斯汀（Mark Austin）

AT&T并未将其AI工作负载统一标准化于单一模型或基础设施配置，而是跨530颗GPU采用了多种开源模型与GPU架构。 其中约430颗为AMD Instinct MI300X GPU，通过托管计算处理了约1万亿个令牌，用于生成合成训练数据。 AT&T报告称，通过使用开源模型生成数据而非调用前沿模型，节省了数千万美元。

其意义不仅在于部署规模之大，更在于工作负载不同环节分别采用了不同模型与GPU架构。这正体现了CIO当前面临的产品组合层面决策：如何通过模型、基础设施与算力容量的不同组合，在最适宜的成本水平上交付所需性能。

将AI基础设施作为产品组合进行管理

随着企业级AI进一步迈向生产环境，战略核心问题日益转变为：如何为每项工作负载匹配恰当的模型、部署方式与基础设施组合，从而在性能、可预测性、利用率与成本之间达成最佳平衡。

对于受益于专用开源模型推理的工作负载，Foundry平台的托管计算将专用算力容量与客户对工作负载决策的自主控制权相结合，置于托管式推理服务环境中。AMD Instinct MI300X则为高要求模型与工作负载提供了一种高内存基础设施选项，包括针对Z.ai GLM 5.3 Flash等模型的优化配置。

对CIO而言，这为其管理基础设施支出、提升成本与算力容量的可预测性，以及在AI使用规模持续增长背景下评估总拥有成本（TCO）与投资回报率（ROI）提供了更清晰的基础。

探索Foundry平台的托管计算如何助您将开源模型与专用算力容量精准匹配至您的生产级AI工作负载。