谷歌TPU能撼动英伟达吗？前TPU工程师首次揭秘

概览

本期围绕谷歌 TPU 是否能够挑战英伟达 GPU 的市场地位展开。节目嘉宾 Henry 曾在谷歌 TPU 组工作，并参与过多代 TPU 研发，包括 Ironwood V7 和 V8，因此讨论重点落在 TPU 的硬件架构、软件生态、供应链瓶颈和商业化条件上。

核心结论是：TPU 在特定条件下可以挑战 GPU，尤其适合模型形态相对稳定、请求量巨大、可以做系统级优化的大规模训练和推理场景。但它并不是 GPU 的全面替代品，因为 GPU 仍有通用性、生态成熟度和模型快速迭代适应性上的优势。

节目也反复强调，TPU 的竞争力不只来自芯片本身，而是来自 TPU Pod、XLA 编译器、谷歌内部模型团队、供应链合作和数据中心部署方式的整体协同。相应地，它的门槛也很高：外部公司若没有熟悉 JAX/XLA/TPU 硬件的工程团队，很难把性能真正跑满。

分段落总结

[00:00] TPU 正在成为英伟达之外的替代方案

[事实] 开场提到，谷歌 Gemini 相关模型、谷歌搜索、翻译、地图和 AlphaFold 等核心产品都使用 TPU，TPU 正从谷歌内部走向更广泛的 AI 产业。

[事实] 节目提到苹果、Anthropic、Meta 等公司与 TPU 的训练或租用关系，并把问题引向：TPU 是否能挑战英伟达 GPU 的垄断地位。

[事实] Henry 表示，在某些限定条件下，TPU 完全可以挑战 GPU，但未来更可能是 TPU 和 GPU 并存。

[推测] 本期的主线不是简单判断“谁取代谁”，而是拆解 TPU 在什么条件下有优势、什么条件下仍受限。

[01:17] 嘉宾背景与讨论范围

[事实] 嘉宾 Henry 曾在谷歌 TPU 组工作，深度参与三代 TPU 研发，并提到 Ironwood V7 是他参与的第二台 TPU，V8 是他离职前参与的最后一代 TPU。

[事实] Henry 强调 TPU 是一个涉及软件、硬件、代工和供应链的复杂工业体系，他只能基于个人理解解释 TPU。

[事实] 主持人提出，本期会从硬件、软件、生产环节以及谷歌与 Anthropic、Meta 等公司的合作来分析 TPU 对英伟达生态的影响。

[03:00] GPU 与 TPU 的基础架构差异

[事实] Henry 解释，GPU 起源于游戏显卡，采用 SIMT 架构，可以理解为许多“大厨”并行独立完成任务。

[事实] TPU 是面向机器学习矩阵计算的定制加速器，更像一条流水线，把不同步骤安排给不同单元，减少调度和控制开销。

[事实] Henry 认为机器学习从 CNN、Attention 到 Transformer，核心都离不开矩阵计算，而 TPU 正是围绕这一点设计。

[推测] 这意味着 TPU 的优势来自对主流 AI workload 的专门化，而 GPU 的优势来自通用并行能力。

[05:30] 从计算瓶颈到内存瓶颈

[事实] Henry 提到，预训练和推理正在从 compute-bound 转向 memory-bound，对内存和数据搬运的要求越来越高。

[事实] GPU 因为每个计算任务相对独立，可能在等待数据搬运时产生 idle period，导致矩阵计算利用率下降。

[事实] TPU 通过软硬件协同、缓存复用和跑满内存带宽，尽量让计算单元保持满负载运行。

[推测] TPU 的设计重点不是单点峰值，而是减少大规模训练中被数据搬运拖慢的时间。

[06:48] TPU Pod 与系统级训练优势

[事实] Henry 说，TPU 从一开始就强调 system level，不是只看单卡性能，而是看几千张芯片组成的 TPU Pod 协同训练。

[事实] TPU 使用 ICI 芯片间互联和 3D Torus 拓扑，目标是让几千张芯片在用户感受上像一张大芯片一样工作。

[事实] Henry 认为，在自家定制大模型或 workload 已知的情况下，TPU 的训练效率和总拥有成本 TCO 可以比 GPU 更有优势。

[推测] TPU 的强项是“整套系统为确定任务优化”，而不是临时适配各种未知任务。

[09:00] Ironwood V7 的性能与 HBM 供应瓶颈

[事实] Henry 提到 Ironwood 的两个重要进步：峰值 FLOPS 更接近 GPU，以及 memory bandwidth 有巨大提升。

[事实] 他表示 HBM 供应非常紧张，主要由 SK Hynix、三星和 Micron 三家公司把持，而英伟达一直是 HBM 最大客户。

[事实] Henry 说，TPU 在 V7 之前主要面向谷歌内部部署，外部生态不强，因此较难提前锁定大规模 HBM 和相关产能。

[推测] TPU 要扩大外部市场，不只要芯片设计成功，还要在 HBM、封装和订单规模上形成稳定供应链能力。

[11:30] CoWoS、良率与 TPU 起量难题

[事实] Henry 提到，HBM 内存芯片和计算芯片需要通过 TSMC 的 2.5D 封装整合，谷歌和 Broadcom 都无法自己完成这一环节。

[事实] 他认为 TPU 产能主要受 HBM、TSMC CoWoS 封装和良率影响。

[事实] Henry 解释，TPU 更依赖芯片间通信，系统中每张芯片性能需要大致一致；如果良率不好，TPU 不像 GPU 那样容易降级成不同版本出售。

[推测] TPU 的系统一致性要求提高了规模化生产难度，也让供应链能力成为竞争力的一部分。

[14:30] Anthropic 订单背后的生态因素

[事实] 节目提到 Anthropic 向谷歌采购 100 万颗 TPU，是一个很大的订单。

[事实] Henry 认为 Anthropic 与 Google 有深度合作关系，且 Anthropic 工程师能力很强，因此能用 TPU 部署自家模型。

[事实] Henry 表示，如果换成 Meta 或其他公司，他不确定 TPU 的 TCO 是否还能同样压下来。

[推测] Anthropic 案例不能简单外推到所有模型公司，因为它同时依赖资本关系、技术能力和软件生态熟悉度。

[15:45] XLA 是 TPU 的秘密武器，也是门槛

[事实] Henry 说 XLA 是谷歌的一个 secret sauce，与 CUDA 最大区别是 XLA 是静态编译器。

[事实] XLA 可以在 TPU Pod 的系统层面做全局优化，包括算子融合、内存管理和提升 systolic array 利用率。

[事实] XLA 上层可以接 PyTorch、JAX 和 TensorFlow，再把代码翻译和优化成 TPU 指令。

[事实] Henry 也指出，XLA 的问题是黑盒感强，开发者很难调试和控制。

[推测] XLA 把复杂度从硬件转移到编译器和软件栈，因此性能强但使用门槛高。

[18:00] 调试难度与外部客户支持

[事实] Henry 说 XLA 有 debug 工具，但因为它会做算子融合和内存管理，调试对象更像一个 graph，而不是单个计算。

[事实] 他认为外部开发者如果遇到真正的 XLA bug，很难独立修复，往往需要谷歌工程师支持。

[事实] Henry 提到谷歌有软件团队对接外部客户，包括 Apple、Midjourney、Anthropic 等，相关 request 很多。

[事实] 节目提到，要真正榨干 TPU 性能，需要把软件栈迁移到 JAX 和 XLA。

[推测] TPU 的外部扩张很大程度上取决于谷歌能否把内部工具链变成外部开发者也能顺畅使用的生态。

[20:30] Gemini 与 TPU 的相互促进

[事实] Henry 认为 Gemini 的训练与 TPU 关系很大，但算法本身也很重要，DeepMind 的算法能力是关键组成部分。

[事实] TPU 能帮助好算法更快迭代，因为训练效率越高，验证算法是否有效的周期越短。

[事实] Henry 说芯片公司都要预测未来市场和模型变化，TPU 和 GPU 都面临这个痛点。

[推测] TPU 对 Gemini 的价值更像是放大算法团队迭代速度，而不是单独决定模型能力。

[21:30] MoE、通信拓扑与两三年的芯片周期

[事实] Henry 解释，MoE 过去在 TPU 上效果不好，是因为专家路由需要 all-to-all communication，而早期 2D Torus 只能与相邻 TPU 通信。

[事实] 后来 TPU 在 V4 引入 3D Torus 和 OCS 光交换机，可以通过软件配置通信路径，从而改善 MoE 的效率。

[事实] Henry 说 TPU 一代芯片从设计、验证、交给 Broadcom、封装验证再到 TSMC，最快也要两年到两年半甚至三年。

[推测] TPU 的优势建立在提前押注正确 workload 上，但模型架构半年一变，会放大 ASIC 芯片的预测风险。

[24:00] 从推荐系统转向大模型

[事实] Henry 说，V7 目前看是押对了方向；早期 TPU 的主要 workload 是谷歌内部 recommendation 和 ranking 系统。

[事实] 他提到自己参与过 sparse core 模块，专门优化 recommendation embedding layer 和稀疏矩阵计算。

[事实] 主持人与 Henry 讨论到，TPU 从 V6 开始更明显地把核心性能调向大模型预训练，并区分训练和推理版本。

[推测] TPU 参数曾经看起来不如 GPU，是因为当时优化目标并不是大模型稠密矩阵计算。

[27:00] Transformer 带来的先发优势与 ASIC 风险

[事实] Henry 说 Transformer 是谷歌发明的，谷歌内部更早知道相关 workload，因此 TPU 有先发优势。

[事实] 他认可可以把 TPU 理解为面向大模型预训练和推理的 ASIC。

[事实] Henry 同时强调，ASIC 一旦架构固定就很难改变；如果未来出现完全不同的模型范式，GPU 的通用性会更有利。

[推测] TPU 的竞争力与 Transformer 范式的持续性高度相关，范式越稳定，TPU 越容易发挥优势。

[30:00] TPU 也在向通用性妥协

[事实] Henry 认为，如果只是 MoE 或 RL 等基于 Transformer 的变化，TPU 仍可通过模块化计算单元和软件优化适配。

[事实] 他提到 TPU 正在让芯片变得更通用，例如矩阵单元处理不同 workload，稀疏单元处理稀疏矩阵计算。

[事实] Henry 表示，如果设计过于激进，可能在 Gemini 上提升 30% 到 40%，但一旦模型变化会非常痛苦。

[推测] TPU 的设计需要在专用性能和未来不确定性之间折中。

[31:45] Meta、PyTorch 与谷歌云使用效率

[事实] 节目提到 Google 与 Meta 有 TPU 托管服务合作，Meta 大量使用 PyTorch。

[事实] Henry 说 PyTorch 与 TPU 生态过去不太兼容，谷歌也在推动 PyTorch 与 XLA 的结合，并支持更多 PyTorch library 和算子。

[事实] Henry 表示，直接用谷歌云可以跑 TPU，但如果不能做底层控制，可能只能达到 50% 到 60% 的 utilization rate。

[事实] 他提到，自己知道直接购买 TPU rack 的主要是 Anthropic，其他如苹果、Midjourney 等更多是在谷歌云上跑。

[推测] 如果 PyTorch/XLA 支持变成熟，TPU 的客户范围可能扩大；否则它更适合拥有谷歌系工程经验的团队。

[36:00] 推理成本、数据中心和 Broadcom 的角色

[事实] Henry 认为谷歌 TPU 的推理成本确实比 GPU 更有优势，原因之一是集群级推理和 TCO 能打下来。

[事实] 他对比说，GPU 集群依赖 NVLink、NVSwitch 等通信基础设施，而谷歌使用不同拓扑、芯片间直接通信和部分光交换机，减少交换机相关成本。

[事实] Henry 说 Broadcom 与谷歌深度合作，主要负责 ICI、后端和芯片间物理连接等工作，技术壁垒很高。

[事实] Henry 也指出，如果谷歌过度依赖 Broadcom 且缺少 backup，Broadcom 的议价权会变大，TPU 的 margin 可能被压缩。

[推测] TPU 的成本优势并非单芯片价格优势，而是来自通信、封装、数据中心部署和供应链协同。

[39:00] HBM 决定上限，Broadcom 做关键连接

[事实] Henry 说，未来几年 HBM 可能决定推理效率上限，买不到好的 HBM 会让推理效率打折扣。

[事实] 他解释，TPU 团队主要做前端设计，Broadcom 则把芯片内部和芯片之间的连接、拓扑网络等物理层面落地。

[事实] Henry 说 Broadcom 负责的混合信号和连接工作经验要求很高，一旦信号出问题，整台机器都可能不能用。

[推测] TPU 能否继续扩产，除了谷歌自身设计能力，还取决于 Broadcom、TSMC 和 HBM 厂商组成的外部链条。

[42:00] TPU 挑战 GPU 的限定条件

[事实] Henry 总结，在某些限定条件满足时，TPU 完全可以挑战 GPU。

[事实] 这些条件包括大规模部署、模型相对稳定、有大量用户同时调用，从而通过 batching 和系统级优化摊薄成本。

[事实] Henry 认为 TPU 不太适合单用户、低延迟要求很高的 agent 场景，因为它更擅长高吞吐而非极致尾部延迟。

[推测] TPU 更像云端大规模服务的成本优化工具，而不是每一种 AI 应用的最佳芯片。

[45:00] Gemini、V7 与推理芯片 Ironwood

[事实] Henry 说，V7 发布时基本可以说 Gemini 相关训练 100% 使用 TPU；但在 V7 之前，GPU 曾是 TPU 的 backup。

[事实] 他解释，早期 XLA 加 JAX 生态复杂且不够稳定，pre-training 风险高，因此需要 GPU 混用；现在这套系统已经更成熟。

[事实] Henry 认为当前 Gemini 请求过多可能是 TPU 卡不够，需要硬件 ramp-up period。

[事实] Henry 说 Ironwood 是主要针对推理性能优化的芯片，重点是低延迟、高吞吐和足够大的 memory bandwidth，尤其服务 LLM decode 环节。

[推测] Ironwood 的方向反映谷歌看好推理市场增长，但谷歌仍会优先保证 frontier model 的训练能力。

[48:00] TPU 优劣势总括与历史回溯

[事实] 主持人总结，TPU 优势包括性能可被跑满、训练可达到或超过 GPU、数据中心部署更省成本、推理成本更低。

[事实] 主持人也总结了缺点：XLA 门槛高、CUDA 生态更成熟、HBM 和起量受限、外部团队若不懂底层很难调优。

[事实] Henry 认可这一总结，并补充 TPU 最大风险是未来模型架构和算法升级时，通用 GPU 可能更有优势。

[事实] Henry 回顾，第一代 TPU 主要是内部 inference 芯片，初衷是替代 CPU 处理线上推荐系统的推理。

[51:00] TPU 从第一代到大模型时代

[事实] Henry 提到，TPU 第二代开始成为更旗舰的训练芯片，服务过 AlphaGo、PaLM、BERT、早期 Transformer 等训练。

[事实] 他认为 V2 到 V4 时，硬件不错但软件协同和产能还没完全跟上。

[事实] V4 加入 sparse core，针对推荐和 ranking workload 优化；V5、V6 开始进入大模型和 ChatGPT 时代，并针对 Transformer 做更多优化。

[事实] Henry 说推理版本大约从 V6 开始出现。

[推测] TPU 的演进路径基本跟随谷歌内部最重要 workload 的变化：推荐系统、Transformer、大模型训练和推理。

[54:00] TPU 诞生故事与组织角色

[事实] 节目提到，2013 年左右，谷歌内部语音识别演示显示深度学习需要 GPU 而不是 CPU，但如果所有用户都使用语音服务，数据中心成本会大幅增加。

[事实] 主持人讲述，Jonathan Ross 当时展示 GPU 有效但成本太高，这成为谷歌研究 TPU 的起点之一。

[事实] Henry 说 XLA 团队从一开始就存在，现在软件团队规模和话语权已经很大，因为它既要服务内部团队，也要服务外部客户。

[事实] Henry 认为 Jeff Dean 和 DeepMind 更像决定下一代 TPU 方向的大脑，硬件组负责具体落实。

[推测] TPU 是谷歌内部 AI 需求、成本压力和组织协作共同推动出来的产物。

[57:00] Groq、低延迟推理与 Agent 场景

[事实] Henry 提到 Groq 的创始相关人物曾在 TPU compiler 团队，Groq 可以理解为一家 compiler 公司，而不只是芯片公司。

[事实] Groq 的 LPU 每个 cycle 做什么都由 compiler 精确确定，硬件更服务于软件编译器。

[事实] Henry 说 Groq 不做 training，主要面向低延迟 inference，适合 agent、实时语音和高频交易等场景。

[事实] Groq 的逻辑是单用户占用较多 LPU 资源，不是大量用户共享，因此响应可以非常快。

[推测] Groq 与 TPU 的差异说明，推理芯片市场会按吞吐、延迟、部署规模和应用场景分层。

[62:00] 未来 AI 芯片市场会分层并存

[事实] Henry 认为，自 DeepSeek 出来后，大家意识到推理成本下降后，端侧和本地部署需求会很大。

[事实] 他判断，Google 和 TPU 会占据最大规模部署和大模型推理的高层市场，中间和下层会有更多玩家进入。

[事实] Henry 明确表示，未来 TPU 和 GPU 会并存，不会是 TPU 或 GPU 一统江山。

[事实] 他认为一个健康生态应该既有通用环节，也有定制环节和垂直场景。

[推测] 如果 TPU 能进一步完善软件生态并降低供应链瓶颈，它会成为制衡英伟达定价权的重要力量。

[64:00] 产业影响与免责声明

[事实] 主持人指出，华尔街会关注 TPU 能抢走英伟达多少市场份额，大模型厂商也会关注 TPU 能否提升模型能力并降低数据中心成本。

[事实] 主持人还提到，TPU 的发展会影响 HBM、液冷、数据中心布局等产业链环节。

[事实] Henry 最后强调，很多 TPU 布局发生在高层，底层工程师了解有限，他是基于自己在谷歌的经历和同事交流拼凑出这套理解。

[事实] 节目声明，本期观点为个人观点，不代表公司观点，也不构成投资建议。

播客点评/总结

本期的价值在于，它没有把 TPU 和 GPU 的竞争简化成单芯片跑分，而是把芯片架构、编译器、TPU Pod、HBM、CoWoS、Broadcom、谷歌云和外部客户能力放在一起讨论。对理解“为什么 TPU 可能便宜”和“为什么不是所有公司都能用好 TPU”很有帮助。

亮点是嘉宾能从 TPU 工程经验出发，解释 XLA、MoE 通信、3D Torus、良率和软件迁移等具体问题。尤其是“TPU 适合大规模稳定 workload，GPU 适合更通用和快速变化的场景”这个判断，贯穿了整期节目。

局限也比较明确：不少商业数字、订单细节和高层战略都不是嘉宾能确认的信息，节目中也多次使用“我觉得”“我听说”“具体不是很清楚”这样的表述。[推测] 因此，本期更适合作为技术和产业逻辑的框架参考，而不适合作为投资结论或具体市场份额预测。

[推测] 适合收听的人群包括 AI 基础设施从业者、关注英伟达与谷歌竞争的投资研究者、大模型工程团队，以及想理解 CUDA 之外加速器生态的人。