按年被提到
20232023 · 7 次2026
系统、数据库与网络›计算机体系结构与硬件·arXiv:2304.01433 · cs.AR

TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings

TPU v4:面向机器学习、支持嵌入硬件加速的光可重构超级计算机
Norman P. Jouppi, George Kurian, Sheng Li, Peter Ma, Rahul Nagarajan, Lifeng Nai, Nishant Patil, Suvinay Subramanian, Andy Swing, Brian Towles, Cliff Young, Xiang Zhou 等 14 人 · 2023

Google TPU v4 的光交换互连与稀疏核心设计

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 12 人首次 2023-04-05 · 最近 2026-10-05
12不同的人
6活跃月份
9讨论串
526被引(OpenAlex)

介绍 Google 第五代领域专用架构 TPU v4 及其第三代机器学习超级计算机。光路交换机(OCS)可动态重构互连拓扑,以提升规模、可用性、利用率、模块化、安全性、功耗和性能,用户还可选择扭曲三维环面拓扑;OCS 及光学部件占系统成本不到 5%、功耗不到 3%。每块芯片含 SparseCore,把依赖嵌入的模型加速 5 到 7 倍,仅占 5% 芯片面积和功耗。TPU v4 比 TPU v3 快 2.1 倍、每瓦性能高 2.7 倍,系统规模达 4096 芯片;论文称同规模下比 Nvidia A100 快 1.2 至 1.7 倍、功耗低 1.3 至 1.9 倍。

HN 为什么提它

评论者在讨论 TPU 与 GPU 集群互连、光交换以及嵌入专用硬件时,把它当作 Google 官方公开的一手技术来源,称其内容引人入胜。

实证研究难度 4 / 5约 80 分钟有时效性
读之前最好知道
1TPU 与 GPU 加速器架构
2数据中心互连与光交换
3分布式训练与并行
4嵌入层与稀疏计算

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你理解 TPU v4 面对的负载背景:Transformer 与大语言模型带来的算力需求,以及 AI 训练的能耗与碳排放问题。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Transformer 改变了生产负载的形态,是 TPU v4 设计要面对的核心模型。

    读抓注意力与矩阵乘为主的计算模式,不必细读实验结果。

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 代表了大规模模型对超大规模互连与并行训练的需求。

    读读模型规模与训练算力的部分,体会为什么需要上千芯片的超级计算机。

  3. 3
    Green AI绿色 AI · 2019

    提出把效率和成本作为评价标准,对应 TPU v4 对能效的强调。

    读读红色 AI 与绿色 AI 的区分,以及效率度量的建议。

  4. 4
    The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink机器学习训练的碳足迹将先持平、后下降 · 2022

    TPU v4 的能效与碳排放数据在这里有更系统的论证。

    读读四项最佳实践(模型、硬件、数据中心、地点)与硬件效率的论述。

  5. 5
    TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for EmbeddingsTPU v4:面向机器学习、支持嵌入硬件加速的光可重构超级计算机 · 2023 · 就是这篇

    介绍光交换互连、可重构拓扑与稀疏核心的 TPU v4 超级计算机。

    读重点读光路交换(OCS)如何带来可用性和扩展性,以及扭曲 3D 环面拓扑和嵌入的硬件支持。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐rlupi · 2023-04

“You can read more on paper that my collegues in Google platforms recently published TPU v4”

推荐同事新发表的这篇论文,了解 TPU v4 的互联与光路交换设计
HPC is dying, and MPI is killing it原评论 ↗
推荐lwkl · 2023-05

“The paper is pretty fascinating stuff.”

称这篇论文内容相当精彩
Google Launches AI Supercomputer Powered by Nvidia H100 GPUs原评论 ↗
推荐tgma · 2025-10

“Check out relatively recent Google TPU paper where they used an optical switch to connect neighboring TPUs”

推荐看谷歌较新的 TPU 论文:用光开关连接相邻的 TPU
IP over Lasers原评论 ↗
引用cavisne · 2023-05

“TPU's have a TPU-TPU interconnect that is faster and lower latency than any GPU cluster [1].”

引用它说明 TPU 间互联比任何 GPU 集群更快、延迟更低
Google Launches AI Supercomputer Powered by Nvidia H100 GPUs原评论 ↗
引用mathisfun123 · 2023-05

“TPU v4 from April 4 of this year.”

贴出今年 4 月的论文,作为 TPU v4 光路交换架构的来源
Google Launches AI Supercomputer Powered by Nvidia H100 GPUs原评论 ↗
引用benstrumental · 2023-05

“I can't find that chip's details anywhere beyond some mentions in the TPU v4 paper: TPU v4”

说那款芯片的细节只在 TPU v4 论文里有零星提及,别处找不到
MTIA v1: Meta’s first-generation AI inference accelerator原评论 ↗
看全部 11 条 →
引用dgacmu · 2023-05

“so Google's TPUs have included a "sparse core" to separately handle those (the lookup and memory use patterns are drastically different from that of the typical dense matrix operations used for non-embedding layers) since TPUv2: TPU v4”

引用它说明 TPUv2 起就有“sparse core”专门处理 embedding
MTIA v1: Meta’s first-generation AI inference accelerator原评论 ↗
引用jeffbee · 2024-06

“Google claims the opposite in "TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings " TPU v4”

引用论文说明谷歌的主张与对方相反
How Meta trains large language models at scale原评论 ↗
引用ipsum2 · 2025-06

“Google publishes papers and gives talks about their TPUs.”

指出谷歌会发表论文并演讲介绍 TPU,以此作为官方来源
TPU Deep Dive原评论 ↗
引用tucnak · 2025-06

“sophisticated networking and switching topologies[1].”

引用它说明 TPU pod 需要复杂的网络与交换拓扑
Basic Facts about GPUs原评论 ↗
引用cma · 2026-10

“TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings”

引用它说明 TPU v4 如何为 ML 集群重新配置光链路
Homa: The end of TCP for AI clusters [video]原评论 ↗
被提交为 story · 1 次