谷歌正式放开整柜 TPU 机架对外直接销售,不再局限于云端租赁模式,同时缩短交付周期,在 Agent 推理、大模型在线推理场景下,TPUv7 Ironwood 在 FP8 精度测试中,每美元推理性能相比英伟达 GB200 高出五成,这也是谷歌从内部自用算力转向对外硬件供货,直接切入英伟达 Blackwell 推理算力市场的关键动作。过去很长一段时间 TPU 只供给谷歌自家 Gemini、搜索业务,外部客户只能走 GCP 云租赁,没法直接买机架部署在自有机房,而英伟达 GB200 凭借成熟的 CUDA 生态、稳定供货渠道,长期垄断大客户推理集群订单,很多企业想做私有化部署只能选择英伟达方案。谷歌这套新方案是整柜机架一体化交付,包含 TPU 芯片、光交换互联、供电散热整套系统,配套 TorchTPU 后端,原生支持 PyTorch,代码改动量很小,降低客户迁移门槛;第三方评测 SemiAnalysis 在 AgentX 推理基准上,固定交互时延条件下统计 token 产出和硬件 TCO,TPUv7 拿到对比 GB200 最高 50% 的每美元优势,核心来自更低功耗、HBM 缓存容量、脉动阵列架构在解码阶段的效率优势。整套落地流程一般是客户确认算力规模、签订机架采购订单,谷歌按整柜成品交付,到货之后直接上架机房,依托 TorchTPU 适配现有大模型推理框架,跑通压测、负载调度,再逐步把线上推理流量迁移过来,适合大规模长上下文、Agent 对话类推理业务。不过优势有明确边界,只限定在 FP8 推理场景,在 FP4 低精度、训练、图形、通用计算场景,英伟达生态和性能依然占优。
一、TPUv7 Ironwood 与 GB200 推理场景对比表
| 项目 | 谷歌 TPUv7 Ironwood | 英伟达 GB200 | 对比说明 |
|---|---|---|---|
| 测试场景 | Agent 推理、大模型 FP8 解码推理 | FP8 推理 | TPU 每美元性能领先最高 50% |
| 显存 | 192GB HBM | 192GB HBM | 缓存容量持平,利于 KV Cache |
| 单芯片功耗 | 450W | 700W | TPU 功耗更低,电费成本优势明显 |
| 对外交付形式 | 整柜机架硬件直售 + 云租赁 | 整机、GPU 卡、NVL 机架 | 谷歌新增硬件直售渠道 |
| 软件适配 | TorchTPU,PyTorch 原生接入 | CUDA、TensorRT-LLM | 英伟达生态成熟度更高 |
| 短板场景 | FP4、通用训练、图形渲染 | FP8 推理之外综合适配强 | TPU 专精推理,通用性弱 |
二、整柜 TPU 外售方案核心清单
- 交付形态:一体化整机柜,含 TPU 板卡、OCS 光交换、供电散热,开箱上架即可部署
- 交付变化:相比过去只做云租赁,现在支持客户采购硬件放到自有 IDC,私有化部署
- 软件配套:TorchTPU 后端,PyTorch 少量改代码就能迁移,适配 vLLM 等推理框架
- 目标客户:大模型公司、云厂商、AI 服务商,主打高并发在线 Agent 推理业务
- 标杆客户:Anthropic 为核心大客户,已经下达大规模 TPU 采购订单
三、这套方案解决客户的算力痛点
- 痛点 1:GB200 采购排队久、交付周期长,大客户算力扩容卡脖子
- 痛点 2:大规模推理集群电费高,长期 TCO 压力大
- 痛点 3:很多厂商不想绑定公有云,希望自建机房私有化推理
- 痛点 4:迁移 TPU 改代码成本高,之前生态封闭
解法:谷歌整柜 TPU 开放外售,增加一条算力供给渠道,分流推理订单
解法:TPU 单芯片功耗更低,同等 token 产出下,长期能耗成本更低
解法:TPU 机架硬件直售,不再只能租用谷歌云算力
解法:TorchTPU 打通 PyTorch,降低原有模型迁移工作量
四、当前方案的局限与边界
- 50% 每美元性能领先,是 FP8 推理、固定时延的 AgentX 基准测试结果,不是所有场景都成立
- TPU 生态规模远小于 CUDA,小众算子、第三方工具链适配不足
- 训练场景、FP4 低精度推理、多模态混合负载下,GB200 仍有优势
- 整柜采购门槛高,适合超大算力集群,中小客户更适合云租赁
- 机架交付、售后运维体系刚起步,网点和技术支持不如英伟达完善
【常见问题】
问题 1:谷歌整柜 TPU 外售加速交付,推理每美元性能对比 GB200 领先五成是什么场景的数据?
回答 1:谷歌整柜 TPU 外售加速交付,推理每美元性能对比 GB200 领先五成,是 SemiAnalysis 在 AgentX 基准、FP8 精度大模型推理场景下的实测结果。
问题 2:谷歌整柜 TPU 开放外售,和以前客户使用 TPU 的方式有什么区别?
回答 2:之前客户只能通过谷歌云租赁 TPU 算力,谷歌整柜 TPU 开放外售之后,客户可以直接采购整套机架放到自有 IDC,做私有化推理部署,交付速度也加快。
问题 3:TPUv7 相比 GB200 拿到推理每美元五成优势,是不是代表 TPU 全面超越 GB200?
回答 3:不是,TPUv7 推理每美元五成优势仅限 FP8 推理场景,在 FP4、模型训练、通用计算、软件生态等方面,GB200 和 CUDA 生态依然有优势。
问题 4:谷歌整柜 TPU 外售,客户把 PyTorch 模型迁移到 TPU 难度高吗?
回答 4:谷歌配套 TorchTPU 后端,整柜 TPU 支持 PyTorch 原生接入,只需要少量代码修改,降低客户把推理模型迁移到 TPU 的成本。
【参考资料】
[2026-11-15](谷歌奇袭英伟达:整柜 TPU 外售加速交付,推理每美元性能领先 GB200 五成)新浪财经
[2026-11-06](The Iron (wood) Throne: Google's TPU Stakes Its Claim on Inference)SemiAnalysis
[2026-09-08](SemiAnalysis:谷歌 TPU 杀入英伟达腹地,Ironwood 每美元性能最高领先 B200 50%)新浪财经
[2026-09-08](谷歌正在用推理芯片凿穿英伟达的城墙)钛媒体
【免责声明】
本文仅为谷歌整柜 TPU 外售、对比 GB200 推理性价比相关资讯整理,50% 每美元性能领先为特定基准、FP8 推理条件下的第三方评测结论,负载、精度、集群规模、电价、运维成本变化都会改变 TCO 对比;内容不构成算力硬件采购、集群改造、算力选型的决策建议,全部交付周期、适配能力、价格条款以谷歌官方销售方案为准。
