按年被提到
20222022 · 2 次2026
系统、数据库与网络›计算机体系结构与硬件·arXiv:2203.12533 · cs.DC

Pathways: Asynchronous Distributed Dataflow for ML

Pathways:面向机器学习的异步分布式数据流
Paul Barham, Aakanksha Chowdhery, Jeff Dean, Sanjay Ghemawat, Steven Hand, Dan Hurt, Michael Isard, Hyeontaek Lim, Ruoming Pang, Sudip Roy, Brennan Saeta, Parker Schuh 等 16 人 · 2022

面向数千加速器的单控制器异步数据流编排层

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-03-30 · 最近 2023-04-20
3不同的人
3活跃月份
3讨论串
63被引(OpenAlex)

论文介绍 Pathways,一个面向加速器的大规模编排层,用由异步算子构成、产生并消费 future 的分片数据流图,在数千个加速器上对异构并行计算做成组调度。其异步分布式数据流设计让控制面并行执行,从而可以采用更易表达新并行模式的单控制器模型;在 2048 块 TPU 上运行 SPMD 计算时达到与现有最好系统相当的性能(约 100% 加速器利用率),流水线并行和跨两个加速器岛的 Transformer 也能保持相近吞吐。

HN 为什么提它

评论者把它当作 Jeff Dean 所设想的大规模扩展路线在系统层面的具体展开。

方法难度 5 / 5约 70 分钟经得起时间
读之前最好知道
1分布式训练(数据并行、流水线并行)
2数据流图与 future
3TPU 与加速器互连
4SPMD 计算模型

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ericjang · 2023-04

“fleshed out more in Pathways”

指出 Jeff Dean 的扩展愿景在这篇 Pathways 论文里有更详细的阐述
Google DeepMind原评论 ↗
被提交为 story · 2 次