按年被提到
20172017 · 4 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1704.04760 · cs.AR

In-Datacenter Performance Analysis of a Tensor Processing Unit

张量处理单元(TPU)的数据中心性能分析
Norman P. Jouppi, Cliff Young, Nishant Patil, David Patterson, Gaurav Agrawal, Raminder Bajwa, Sarah Bates, Suresh Bhatia, Nan Boden, Al Borchers, Rick Boyle, Pierre-luc Cantin 等 75 人 · 2017

谷歌首代 TPU 推理比同期 CPU/GPU 快 15–30 倍

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 10 人首次 2017-06-12 · 最近 2025-04-12发表于 Proceedings - International Symposium on Computer Architecture/Proceedings
10不同的人
11活跃月份
11讨论串
4,535被引(OpenAlex)

论文评估自 2015 年起部署在数据中心、用于神经网络推理的定制 ASIC:TPU。其核心是由 65,536 个 8 位乘加单元组成的矩阵乘单元,峰值 92 TOPS,配 28 MiB 软件管理的片上内存;确定性的执行模型更契合 99 分位响应时间的要求。在占数据中心 95% 神经网络推理需求的 MLP、CNN 和 LSTM 生产负载上,TPU 平均比同期的 Haswell CPU 和 K80 GPU 快约 15–30 倍,每瓦 TOPS 高 30–80 倍。

HN 为什么提它

评论者把它当作 TPU v1 的权威资料,引用其中的数字(92 TOPS、40 W、15–30 倍、15 个月研制)以及与 CPU 和 K80 的对比等设计细节。

实证研究难度 4 / 5约 60 分钟有时效性
读之前最好知道
1计算机体系结构(缓存、流水线)
2矩阵乘法与硬件加速
3神经网络推理与量化
4延迟与吞吐的权衡

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐grandmczeb · 2019-04

“You can also check out the TPU paper[2] which places the ratio at >1000 for some unnamed CNNs.”

推荐 TPU 论文,称某些 CNN 的比值超过 1000
Tesla Live Stream – Autonomy Day [video]原评论 ↗
引用bazizbaziz · 2017-06

“Google's TPU paper [0] showed the CPUs were relatively competitive in the machine learning space (within 2x of a K80).”

引 TPU 论文说明 CPU 在 ML 上与 K80 相差仅约 2 倍
The Age of Nvidia原评论 ↗
引用dgacmu · 2017-07

“One example is: In-Datacenter Performance Analysis of a Tensor Processing Unit”

举这篇 TPU 论文作为一个例子
Second version of HoloLens HPU will incorporate AI coprocessor原评论 ↗
引用puzzle · 2017-08

“You can find the paper with the methodology, theoretical peaks and latency management at”

指出论文里有方法论、理论峰值和延迟管理的细节
Google TPU Performance Analysis原评论 ↗
引用indescions_2018 · 2018-02

“From the paper:”

引论文原话:TPU 比同期 GPU 和 CPU 快 15 到 30 倍
Cloud TPUs in Beta原评论 ↗
引用elmarhaussmann · 2018-04

“For the last version of the TPU, Google provided more detail, e.g., in this paper:”

指出 Google 在这篇论文里给出了上一代 TPU 的更多细节
Comparing Google’s TPUv2 against Nvidia’s V100 on ResNet-50原评论 ↗
看全部 10 条 →
引用emacs28 · 2023-02

“One good approach could be to base the architecture on the TPU v1 from [1].”

建议以 TPU v1 的架构为基础设计加速器
Introduction to FPGAs原评论 ↗
引用vimarsh6739 · 2024-02

“Judging by reading the original TPU architecture paper here - In-Datacenter Performance Analysis of a Tensor Processing Unit”

读原始 TPU 架构论文后,据此判断低延迟推理的说法
Groq runs Mixtral 8x7B-32k with 500 T/s原评论 ↗
引用moandcompany · 2024-10

“(92 TOPS @ 700 Mhz - 40W)”

引用其中数据:92 TOPS,40W
Video Surveillance with YOLO+llava原评论 ↗
引用dgacmu · 2025-04

“The first TPU (Seastar) was designed, tested, and deployed in 15 months: In-Datacenter Performance Analysis of a Tensor Processing Unit”

引它说明第一代 TPU 15 个月内完成设计、测试和部署
Google is winning on every AI front原评论 ↗
被提交为 story · 1 次