按年被提到
20182018 · 4 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:1810.09868 · cs.PL

Automatic Full Compilation of Julia Programs and ML Models to Cloud TPUs

将 Julia 程序与机器学习模型自动完整编译到 Cloud TPU
Keno Fischer, Elliot Saba · 2018

用不到千行 Julia 代码经 XLA 把程序整体编译到 TPU 上运行

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2018-10-24 · 最近 2019-07-19
5不同的人
3活跃月份
7讨论串
10被引(OpenAlex)

论文描述了通过 Google 的新 API 和 XLA 编译器,把 Julia 程序中适合的部分卸载到 Cloud TPU 的方法与实现。它能把 VGG19 的前向传播完全融合成单个 TPU 可执行体,并与基于编译器的自动微分结合,自动得到反向传播。实现不到 1000 行 Julia 代码,且无需改动 Julia 核心编译器;批量 100 张图的前向推理耗时 0.23 秒,而原模型在 CPU 上需 52.4 秒。

HN 为什么提它

HN 评论者在讨论 Julia 与 TPU、XLA 的关系时引用它,用来说明 Julia 代码如何经 XLA 编译到 TPU 上运行。

方法难度 4 / 5约 40 分钟有时效性
读之前最好知道
1Julia 语言与多重派发
2XLA 与编译器中间表示(IR)
3自动微分(automatic differentiation)
4TPU 硬件与加速器编程

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里只有 VGG 与目标论文的核心实验直接相关,这条路径先弄清被编译的模型长什么样,再读 Julia 到 TPU 的整体编译。

  1. 1
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    本文用来展示整体编译效果的正是 VGG19 的前向传播。

    读VGG 的网络结构:3x3 卷积堆叠与全连接层的配置,了解被编译程序的计算形态。

  2. 2
    Automatic Full Compilation of Julia Programs and ML Models to Cloud TPUs将 Julia 程序与机器学习模型自动完整编译到 Cloud TPU · 2018 · 就是这篇

    目标论文:把 Julia 程序经 XLA 整体编译到 Cloud TPU。

    读如何把 Julia 的函数卸载到 XLA、把 VGG19 前向融合为单个 XLA 内核;对照 VGG 的层结构。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用chrispeel · 2019-02

“after the publication of [1] on Julia+TPUs there was some talk about doing a comparison”

提到这篇 Julia+TPU 论文发表后曾有人想做对比
Differentiating SSA-Form Programs in Julia (2018) [pdf]原评论 ↗
引用KenoFischer · 2019-02

“The actual mechanism is described in Automatic Full Compilation of Julia Programs and ML Models to Cloud TPUs.”

指出实际机制在这篇论文里有描述
Julia on Google TPU: Shakespeare RNN原评论 ↗
引用KenoFischer · 2019-07

“As a shameless plug, you can plug (heh) Julia into XLA as well, e.g. for targeting TPUs”

顺带自荐,说明也可以把 Julia 接入 XLA 以面向 TPU
A Differentiable Programming System to Bridge ML and Scientific Computing原评论 ↗
被提交为 story · 4 次