“Unfortunately, I am not aware of better overall survey more up to date.”
The Deep Learning Compiler: A Comprehensive Survey
剖析深度学习编译器的多级 IR 与前后端优化设计
这篇综述系统梳理了 TensorFlow XLA、TVM 等深度学习编译器的通用设计架构,重点分析多级中间表示(IR)以及前端、后端的优化技术,并从多个维度对现有编译器作了比较。文末给出若干值得继续研究的方向,作者称这是第一篇专注于深度学习编译器设计架构的综述。
HN 评论者在 2024 年仍说找不到比它更新、更全面的综述,把它当作深度学习编译器的总览入口,尽管内容已略显陈旧。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先了解深度学习硬件,再看几个代表性的编译与优化系统(Winograd 类卷积算法、Tensor Comprehensions、XLA 到 TPU、MLIR),帮助理解综述里的多级 IR 与前后端优化。
- 1
TPU 是深度学习编译器要面向的典型专用硬件之一。
读脉动阵列矩阵乘单元与片上存储的设计,以及它为何适合推理。
- 2
用微基准剖析 GPU 的指令与存储层级,有助于理解后端代码生成与调优要面对什么。
读存储层级与延迟、带宽的测量结果;不必细读每个微基准。
- 3
Winograd 等快速卷积算法是编译器和库里常见的算子级优化。
读Winograd 最小滤波算法的思想,以及它在小卷积核上的加速。
- 4
Tensor Comprehensions 用类似数学记号描述张量运算并自动生成核,是早期的深度学习编译器工作。
读张量表达式的记号与用多面体方法加自动调优生成 GPU 核的流程。
- 5
展示通过 XLA 把整个程序编译到 TPU,涉及高层 IR 到加速器的编译路径。
读如何从语言前端抽取计算图并交给 XLA,以及完整编译带来的好处。
- 6
MLIR 提供多层 IR 的基础设施,对应综述中讨论的多级 IR 设计。
读dialect 与多层 IR 的概念,以及不同层之间的逐步降低(lowering)。
- 7The Deep Learning Compiler: A Comprehensive Survey
按统一架构剖析深度学习编译器的多级 IR 与前后端优化设计。
读先抓整体架构图与 IR 分类,再读前端、后端优化两部分。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及- The Deep Learning Compiler: A Comprehensive Survey ↗bmc7505 · 2020-02-19 · 2 分
- The Deep Learning Compiler: A Comprehensive Survey ↗wildermuthn · 2020-12-26 · 2 分