按年被提到
20202020 · 2 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:2002.03794 · cs.DC

The Deep Learning Compiler: A Comprehensive Survey

深度学习编译器综述
Mingzhen Li, Yi Liu, Xiaoyan Liu, Qingxiao Sun, Xin You, Hailong Yang, Zhongzhi Luan, Lin Gan, Guangwen Yang, Depei Qian · 2020

剖析深度学习编译器的多级 IR 与前后端优化设计

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2020-02-19 · 最近 2024-09-06
3不同的人
3活跃月份
3讨论串
261被引(OpenAlex)

这篇综述系统梳理了 TensorFlow XLA、TVM 等深度学习编译器的通用设计架构,重点分析多级中间表示(IR)以及前端、后端的优化技术,并从多个维度对现有编译器作了比较。文末给出若干值得继续研究的方向,作者称这是第一篇专注于深度学习编译器设计架构的综述。

HN 为什么提它

HN 评论者在 2024 年仍说找不到比它更新、更全面的综述,把它当作深度学习编译器的总览入口,尽管内容已略显陈旧。

综述难度 3 / 5约 90 分钟有时效性
读之前最好知道
1深度学习框架(TensorFlow、PyTorch)
2编译器基础与中间表示(IR)
3GPU 等加速器的体系结构
4TVM / XLA 的基本概念

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先了解深度学习硬件,再看几个代表性的编译与优化系统(Winograd 类卷积算法、Tensor Comprehensions、XLA 到 TPU、MLIR),帮助理解综述里的多级 IR 与前后端优化。

  1. 1
    In-Datacenter Performance Analysis of a Tensor Processing Unit张量处理单元(TPU)的数据中心性能分析 · 2017

    TPU 是深度学习编译器要面向的典型专用硬件之一。

    读脉动阵列矩阵乘单元与片上存储的设计,以及它为何适合推理。

  2. 2
    Dissecting the NVIDIA Volta GPU Architecture via Microbenchmarking通过微基准测试剖析 NVIDIA Volta GPU 架构 · 2018

    用微基准剖析 GPU 的指令与存储层级,有助于理解后端代码生成与调优要面对什么。

    读存储层级与延迟、带宽的测量结果;不必细读每个微基准。

  3. 3

    Winograd 等快速卷积算法是编译器和库里常见的算子级优化。

    读Winograd 最小滤波算法的思想,以及它在小卷积核上的加速。

  4. 4

    Tensor Comprehensions 用类似数学记号描述张量运算并自动生成核,是早期的深度学习编译器工作。

    读张量表达式的记号与用多面体方法加自动调优生成 GPU 核的流程。

  5. 5
    Automatic Full Compilation of Julia Programs and ML Models to Cloud TPUs将 Julia 程序与机器学习模型自动完整编译到 Cloud TPU · 2018

    展示通过 XLA 把整个程序编译到 TPU,涉及高层 IR 到加速器的编译路径。

    读如何从语言前端抽取计算图并交给 XLA,以及完整编译带来的好处。

  6. 6
    MLIR: A Compiler Infrastructure for the End of Moore's LawMLIR:面向摩尔定律终结时代的编译器基础设施 · 2020

    MLIR 提供多层 IR 的基础设施,对应综述中讨论的多级 IR 设计。

    读dialect 与多层 IR 的概念,以及不同层之间的逐步降低(lowering)。

  7. 7
    The Deep Learning Compiler: A Comprehensive Survey深度学习编译器综述 · 2020 · 就是这篇

    按统一架构剖析深度学习编译器的多级 IR 与前后端优化设计。

    读先抓整体架构图与 IR 分类,再读前端、后端优化两部分。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐sanxiyn · 2024-09

“Unfortunately, I am not aware of better overall survey more up to date.”

承认它有些过时,但没见过更新的同类综述
Ask HN: Resources for GPU Compilers?原评论 ↗
被提交为 story · 2 次