按年被提到
20162016 · 2 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1606.03401 · cs.NE

Memory-Efficient Backpropagation Through Time

节省内存的随时间反向传播
Audrūnas Gruslys, Remi Munos, Ivo Danihelka, Marc Lanctot, Alex Graves · 2016

用动态规划平衡缓存与重算,降低 RNN 训练 BPTT 的内存占用

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-06-13 · 最近 2017-06-26
3不同的人
3活跃月份
3讨论串
124被引(OpenAlex)

提出一种降低 RNN 训练中 BPTT 内存占用的方法,用动态规划在缓存中间结果和重新计算之间取得平衡,能紧贴几乎任意用户设定的内存预算,并找到使计算代价最小的执行策略。论文给出多种情形下的渐近计算上界,对长序列尤其有效:长度 1000 的序列可节省 95% 的内存,每次迭代只多用约三分之一的时间。

HN 为什么提它

评论者引用它说明 RNN 反向传播的内存复杂度已经有算法可以降低,因此静态展开 RNN 在内存上也不再那么吃力。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1反向传播与 BPTT
2循环神经网络(RNN)
3动态规划
4计算图与内存开销(checkpointing)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解用 RNN 做序列生成、序列到序列和带外部记忆的模型,它们都依赖 BPTT,再读如何用动态规划省下 BPTT 的内存。

  1. 1
    Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列 · 2013

    典型的 LSTM 序列生成模型,训练靠沿时间展开的反向传播

    读理解 LSTM 如何逐步预测,并留意长序列训练的内存开销

  2. 2
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    序列到序列模型需要对长序列做 BPTT,内存是实际瓶颈

    读看编码器-解码器如何在长序列上训练

  3. 3
    Neural Turing Machines神经图灵机 · 2014

    带可微外部记忆的网络,展开后内存开销更大

    读理解读写记忆如何随时间展开,为何需要保存更多中间状态

  4. 4
    Learning to Transduce with Unbounded Memory学习使用无界记忆进行序列转换 · 2015

    栈、队列等无界记忆结构同样依赖 BPTT,训练需要大量缓存

    读看可微记忆结构如何参与反向传播

  5. 5
    Memory-Efficient Backpropagation Through Time节省内存的随时间反向传播 · 2016 · 就是这篇

    用动态规划在缓存与重算之间取得最优折中

    读看内存预算下的最优执行策略与代价分析

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用taliesinb · 2016-08

“Static unrolling of RNNs possible now (with mirroring this can still be very memory efficient [0])”

提到通过镜像,静态展开 RNN 仍可很省内存
Benchmarking State-Of-the-Art Deep Learning Software Tools原评论 ↗
引用unixpickle · 2017-06

“This can be done via an algorithm that reduces the memory complexity of RNN backpropagation (these algorithms didn't exist in 2013). See for example Memory-Efficient Backpropagation Through Time.”

引用能降低 RNN 反向传播内存复杂度的算法
Why I’m Remaking OpenAI Universe原评论 ↗
被提交为 story · 1 次