Google 终于让 PyTorch 原生跑上 TPU，开发者：“早该如此！”

2026-11-12 · 1 分钟阅读

Google 与 Meta 合作开源 TorchTPU，为 TPU 提供原生 PyTorch 后端，使现有工作负载只需少量代码修改即可运行，支持即时执行、编译执行、分布式计算及硬件专属优化。Google 称旧方案 PyTorch/XLA 需侵入式改源码、编译延迟严重且不支持原生即时执行。TorchTPU 提供 Strict、Debug、DeferAndFuse 三种即时执行模式，后者据称比 Strict Eager 快 50% 以上并降低 HBM 峰值内存。Google 在 v5e 起多代 TPU 上以两种模式评估约 5000 个 Hugging Face 模型、覆盖 500 多种架构；300 亿参数 Muse Glimmer 在单枚 TPUv7 上推理吞吐达每秒 25700 Token（序列长度 5120），四枚芯片训练达每秒 5600 Token；Qwen3 MoE 235B 训练扩展至 8192 枚 TPUv7。项目仍处早期，路线图涵盖动态形状、算子覆盖、强化学习与量化等。