按年被提到
20182018 · 5 次2026
机器学习与深度学习›优化与可微编程·arXiv:1806.07366 · cs.LG

Neural Ordinary Differential Equations

神经常微分方程
Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud · 2018

用神经网络参数化隐状态的导数,构成连续深度模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 12 人首次 2018-06-24 · 最近 2024-03-07
12不同的人
7活跃月份
12讨论串
2,097被引(OpenAlex)

论文提出一类新的深度网络:不再指定离散的隐藏层序列,而是用神经网络参数化隐状态的导数,输出由黑盒微分方程求解器计算。这种连续深度模型的内存开销恒定,能按输入调整计算策略,并可显式地用精度换速度;作者在连续深度残差网络和连续时间隐变量模型中演示了这些性质,还构造了可用最大似然训练的连续归一化流,并给出无需访问求解器内部即可对任意 ODE 求解器做反向传播的可扩展方法。

HN 为什么提它

评论者把它当作连续深度网络、把神经网络看作微分方程的代表作来引用(它拿下了 NeurIPS 2018 最佳论文),用于讨论动力系统建模和后续研究。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1常微分方程与数值求解器
2残差网络(ResNet)
3反向传播与伴随方法(adjoint method)
4归一化流(normalizing flows)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看残差网络和对残差结构的分析,把残差更新理解为欧拉离散化,再补变分自编码器和归一化流,就能读懂 Neural ODE 的连续深度模型、潜变量时间序列模型和连续归一化流。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    Neural ODE 的出发点是把残差更新 h + f(h) 看成欧拉法的离散化。

    读残差块的形式与跳跃连接的作用;理解这一步后连续极限就顺理成章。

  2. 2
    Identity Mappings in Deep Residual Networks深度残差网络中的恒等映射 · 2016

    分析残差块的信号传播与恒等映射,帮助看清残差更新为什么接近连续动力系统。

    读恒等跳连让前向和反向信号直接传播的论证;跳过千层网络实验。

  3. 3
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    目标论文的潜变量时间序列模型是 VAE 式的,需要理解变分下界和重参数化。

    读证据下界与重参数化技巧的概念。

  4. 4

    NICE 是早期的归一化流,目标论文的连续归一化流是对它的连续化推广。

    读可逆变换加雅可比行列式计算概率密度的思路;理解变量变换公式即可。

  5. 5
    Neural Ordinary Differential Equations神经常微分方程 · 2018 · 就是这篇

    目标论文:用神经网络参数化隐状态的导数,用 ODE 求解器计算输出,并用伴随法反传。

    读伴随灵敏度方法带来的常数内存,以及连续归一化流和潜 ODE 两个应用。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐ArtWomb · 2018-12

“Neural ODE solver just announced as a Best Paper at NeurIPS 2018 conference.”

称它刚获 NeurIPS 2018 最佳论文,预测误差低于 RNN 且可外推
Building a Language and Compiler for Machine Learning原评论 ↗
引用MarkMMullin · 2018-06

“I have this on my desk to grind thru - interested if anyone else has looked at it”

说这篇放在桌上还没读,询问有没有人读过
Polynomial Regression as an Alternative to Neural Nets原评论 ↗
引用nmstoker · 2018-12

“The paper the article is based on is here:”

给出这篇新闻文章所依据的神经 ODE 原始论文
A new neural network design could overcome challenges in AI原评论 ↗
引用joshuamorton · 2019-01

“You're a few months late:P [0]”

指出把神经网络建模为 ODE 的想法几个月前就有了
Tensor Considered Harmful Part 2原评论 ↗
引用cs702 · 2019-01

“ODEnets and continous normalizing flows - Neural Ordinary Differential Equations”

列出 ODE 网络与连续归一化流
Deep Learning State of the Art (2019) [video]原评论 ↗
引用damip · 2019-03

“Maybe by modelling dynamical systems as "neural nets" as in:”

提出可以把动力系统建模为神经网络,如神经 ODE
‘A Swiss cheese-like material’ that can solve equations原评论 ↗
看全部 10 条 →
引用angel_j · 2019-09

“Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network.”

引它说明用神经网络参数化隐藏状态的导数,替代离散层
Deep Learning for Symbolic Mathematics原评论 ↗
引用rubatuga · 2021-03

“I'm still intrigued by the Neural Ordinary Differential Equations paper [0] and the research in that direction.”

说仍对神经 ODE 及相关研究很感兴趣
Retrospective review of Gödel, Escher, Bach (1996) [pdf]原评论 ↗
引用Scene_Cast2 · 2024-03

“One way to bridge that gap would be to use Neural Ordinary Differential Equations - they draw an equivalence between vanilla (FC layer) neural nets of constant width with differential equations”

推荐用它弥合差距,它把定宽全连接网络等同于微分方程
Where is Noether's principle in machine learning?原评论 ↗
引用rfonseca · 2024-03

“This paper [1] models some simple (r) NN as ODEs, and uses ODE tools to train and for inference.”

引它说明把简单神经网络建模为 ODE,用 ODE 工具训练和推理
On the Double-Slit Experiment and Quantum Interference in the Wolfram Model (2020)原评论 ↗
被提交为 story · 2 次