按年被提到
20212021 · 3 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:2106.02039 · cs.LG

Offline Reinforcement Learning as One Big Sequence Modeling Problem

把离线强化学习看作一个大序列建模问题
Michael Janner, Qiyang Li, Sergey Levine · 2021

用 Transformer 建模轨迹分布,把波束搜索当作规划算法解 RL

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2021-06-04 · 最近 2025-06-15
4不同的人
4活跃月份
4讨论串
190被引(OpenAlex)

传统强化学习估计平稳策略或单步模型并借助马尔可夫性在时间上分解问题。论文把 RL 视为通用的序列建模问题,用 Transformer 对轨迹分布建模,并把波束搜索改用作规划算法,从而简化许多设计决策,省去离线 RL 算法里的许多常见组件。该方法在长时程动力学预测、模仿学习、目标条件 RL 和离线 RL 上都表现出灵活性,并可与现有无模型算法结合,在稀疏奖励的长时程任务上得到最先进的规划器。

HN 为什么提它

HN 评论把它(Trajectory Transformer)和 Decision Transformer 并列,作为离线强化学习做成序列建模且擅长长时程任务的代表方法。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习基础(MDP、策略)
2离线强化学习
3Transformer 与自回归序列建模
4波束搜索(beam search)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用isaacimagine · 2025-06

“No mention of Decision Transformers or Trajectory Transformers? Both are offline approaches that tend to do very well at long-horizon tasks”

指出漏提了 Trajectory Transformer,它是擅长长时程任务的离线方法
Q-learning is not yet scalable原评论 ↗
被提交为 story · 3 次