“It's all in Automated Translation and Accelerated Solving of Differential Equations on Multiple GPU Platforms. So this stuff exists and people are using it.”
Automated Translation and Accelerated Solving of Differential Equations on Multiple GPU Platforms
无需改代码,在 NVIDIA、AMD、Intel、Apple GPU 上并行求解大批 ODE/SDE。
提出一种高性能、与厂商无关的方法,在 GPU 上大规模并行求解常微分方程(ODE)和随机微分方程(SDE)的集合,集成进 Julia 的 DifferentialEquations.jl,用户无需改代码即可获得 GPU 加速。性能与手工优化的 CUDA-C++ 核函数相当,比 JAX 和 PyTorch 中的向量化映射(vmap)方法快 20–100 倍,并在 NVIDIA、AMD、Intel 和 Apple GPU 上验证了可移植性,还可与 MPI 组合做多 GPU 分布式计算。求解器功能完整,支持事件处理、自动微分和经 GPU 纹理内存引入数据集,已开源为 DiffEqGPU.jl。
作者和评论者用它说明基于核函数的 ODE 集合求解比 PyTorch、JAX 快 20–100 倍,并证明这类跨 GPU 厂商的求解器已经存在、有人在用。
学习路径
读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出神经常微分方程把深度网络与微分方程求解联系起来,可作为理解为何需要大批量并行求解 ODE 的背景。
- 1
把 ODE 求解器放进机器学习训练,说明了批量、高效求解微分方程的需求。
读用神经网络参数化导数与调用 ODE 求解器的思路;伴随法可略读。
- 2Automated Translation and Accelerated Solving of Differential Equations on Multiple GPU Platforms
在多种 GPU 平台上自动翻译并批量并行求解 ODE 与 SDE。
读无需改代码的 GPU 内核生成方式,以及与手写 CUDA 内核和 vmap 的性能对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“open access is here”
“We were able to demonstrate this in a recent publication which showed using the latter approach for ODEs was about 20x-100x faster than PyTorch, Jax, and our own implementation of the former”
“see Automated Translation and Accelerated Solving of Differential Equations on Multiple GPU Platforms for details”
- Translation and accelerated solving of differential equations on GPU platforms ↗UncleOxidant · 2023-12-23 · 112 分