引用ericjang · 2023-04
“fleshed out more in Pathways”
指出 Jeff Dean 的扩展愿景在这篇 Pathways 论文里有更详细的阐述
面向数千加速器的单控制器异步数据流编排层
论文介绍 Pathways,一个面向加速器的大规模编排层,用由异步算子构成、产生并消费 future 的分片数据流图,在数千个加速器上对异构并行计算做成组调度。其异步分布式数据流设计让控制面并行执行,从而可以采用更易表达新并行模式的单控制器模型;在 2048 块 TPU 上运行 SPMD 计算时达到与现有最好系统相当的性能(约 100% 加速器利用率),流水线并行和跨两个加速器岛的 Transformer 也能保持相近吞吐。
评论者把它当作 Jeff Dean 所设想的大规模扩展路线在系统层面的具体展开。
“fleshed out more in Pathways”