按年被提到
20232023 · 3 次2026
编程语言与编译器›编译器与运行时优化·arXiv:2304.06835 · cs.DC

Automated Translation and Accelerated Solving of Differential Equations on Multiple GPU Platforms

在多种 GPU 平台上自动翻译并加速求解微分方程
Utkarsh Utkarsh, Valentin Churavy, Yingbo Ma, Tim Besard, Prakitr Srisuma, Tim Gymnich, Adam R. Gerlach, Alan Edelman, George Barbastathis, Richard D. Braatz, Christopher Rackauckas · 2023

无需改代码,在 NVIDIA、AMD、Intel、Apple GPU 上并行求解大批 ODE/SDE。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-05-25 · 最近 2024-08-30
3不同的人
4活跃月份
5讨论串
18被引(OpenAlex)

提出一种高性能、与厂商无关的方法,在 GPU 上大规模并行求解常微分方程(ODE)和随机微分方程(SDE)的集合,集成进 Julia 的 DifferentialEquations.jl,用户无需改代码即可获得 GPU 加速。性能与手工优化的 CUDA-C++ 核函数相当,比 JAX 和 PyTorch 中的向量化映射(vmap)方法快 20–100 倍,并在 NVIDIA、AMD、Intel 和 Apple GPU 上验证了可移植性,还可与 MPI 组合做多 GPU 分布式计算。求解器功能完整,支持事件处理、自动微分和经 GPU 纹理内存引入数据集,已开源为 DiffEqGPU.jl。

HN 为什么提它

作者和评论者用它说明基于核函数的 ODE 集合求解比 PyTorch、JAX 快 20–100 倍,并证明这类跨 GPU 厂商的求解器已经存在、有人在用。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1常微分方程(ODE)与随机微分方程(SDE)的数值求解
2GPU 并行与核函数(kernel)
3Julia 与 DifferentialEquations.jl
4JAX / PyTorch 的向量化映射(vmap)

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

神经常微分方程把深度网络与微分方程求解联系起来,可作为理解为何需要大批量并行求解 ODE 的背景。

  1. 1
    Neural Ordinary Differential Equations神经常微分方程 · 2018

    把 ODE 求解器放进机器学习训练,说明了批量、高效求解微分方程的需求。

    读用神经网络参数化导数与调用 ODE 求解器的思路;伴随法可略读。

  2. 2
    Automated Translation and Accelerated Solving of Differential Equations on Multiple GPU Platforms在多种 GPU 平台上自动翻译并加速求解微分方程 · 2023 · 就是这篇

    在多种 GPU 平台上自动翻译并批量并行求解 ODE 与 SDE。

    读无需改代码的 GPU 内核生成方式,以及与手写 CUDA 内核和 vmap 的性能对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ChrisRackauckas · 2023-05

“It's all in Automated Translation and Accelerated Solving of Differential Equations on Multiple GPU Platforms. So this stuff exists and people are using it.”

引用它说明这类东西已经存在并有人在用:DiffEqGPU.jl 可跨 GPU 厂商生成 ODE 求解核
4-Bit Quantization and QLoRA原评论 ↗
引用ChrisRackauckas · 2023-12

“open access is here”

贴出自己系统的开放获取论文:核生成比 PyTorch 和 JAX 快 20 到 100 倍
2023 was the year that GPUs stood still原评论 ↗
引用ChrisRackauckas · 2024-03

“We were able to demonstrate this in a recent publication which showed using the latter approach for ODEs was about 20x-100x faster than PyTorch, Jax, and our own implementation of the former”

引用近期发表的成果:基于核的 ODE 求解比 PyTorch、JAX 快约 20 到 100 倍
Nonlinearsolve.jl: Fast and Robust Solvers for Nonlinear Equations in Julia原评论 ↗
引用adgjlsfhk1 · 2024-08

“see Automated Translation and Accelerated Solving of Differential Equations on Multiple GPU Platforms for details”

指向论文了解细节:DiffEqGPU 相比其他 GPU ODE 求解器的加速
Micrograd.jl原评论 ↗
被提交为 story · 1 次