按年被提到
20172017 · 1 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1709.06560 · cs.LG

Deep Reinforcement Learning that Matters

真正重要的深度强化学习
Peter Henderson, Riashat Islam, Philip Bachman, Joelle Pineau, Doina Precup, David Meger · 2017

指出深度强化学习结果难以复现,并给出更严谨的评测报告建议

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2017-09-21 · 最近 2020-04-15发表于 Proceedings of the AAAI Conference on Artificial Intelligence
3不同的人
3活跃月份
3讨论串
1,682被引(OpenAlex)

论文研究深度强化学习中的可复现性、恰当的实验方法与结果报告。基准环境的非确定性加上方法本身的方差,使已发表的结果难以解读;作者展示了与常见基线比较时指标和结果的波动,说明缺乏显著性度量和更严格的标准化时很难判断改进是否真实。论文据此提出让未来深度 RL 结果更可复现的指南,以减少不可复现、易被误读的结果所造成的浪费。

HN 为什么提它

HN 上的人引用它来说明强化学习的基准测试出了名地难做、复现问题严重,也有人借此谈到 RL 算法迁移性差。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1强化学习基础
2策略梯度(policy gradient)与深度 RL 算法
3统计方差与显著性检验
4基准环境与随机种子

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nealeratzlaff · 2018-01

“Reinforcement learning algorithms were shown to have poor transferability”

说明强化学习算法的迁移性很差
AI and Deep Learning in 2017 – A Year in Review原评论 ↗
引用MasterScrat · 2020-04

“Reinforcement learning is notoriously hard to benchmark properly (see eg Deep Reinforcement Learning that Matters).”

引它说明强化学习很难正确做基准测试
An Optimistic Perspective on Offline Reinforcement Learning原评论 ↗
被提交为 story · 1 次