“PPO is awesome, but so is GPT-style reward-trajectory prediction!”
Decision Transformer: Reinforcement Learning via Sequence Modeling
把强化学习当作条件序列建模,用因果 Transformer 输出动作
论文把强化学习抽象为序列建模问题,提出 Decision Transformer:不拟合价值函数或计算策略梯度,而是让因果掩码的 Transformer 以期望回报、过去的状态和动作为条件,自回归地生成能达到该回报的未来动作。在 Atari、OpenAI Gym 和 Key-to-Door 任务上,它达到或超过了最先进的无模型离线强化学习基线。
HN 上的人把它当作证明 Transformer 可以做强化学习、以及把回报作为条件 token 的先例,常拿它与 PPO 对比或在谈离线 RL 时补充提及。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先了解 Atari 强化学习的设定,再看 Transformer、BERT 和 GPT-3 的序列建模范式,最后读 Decision Transformer 如何把 RL 变成条件序列建模。
- 1
目标论文的 Atari 实验以 DQN 类方法作对照,需要懂这一类基于价值函数的做法。
读Q 学习与 Atari 设定;对比目标论文不学价值函数。
- 2
- 3
代表 Transformer 预训练的另一条路线,帮助区分双向与自回归,目标论文属于后者。
读预训练与微调范式;与自回归模型的对比。
- 4
- 5Decision Transformer: Reinforcement Learning via Sequence Modeling
目标论文:把轨迹表示为(回报、状态、动作)序列,用因果 Transformer 直接输出动作。
读returns-to-go 条件化、轨迹的序列表示与 Atari、Gym 的离线 RL 实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“it seemed really interesting when it was first published but I haven't read much follow-up work.”
“The new hotness this month just says”
“Transformers can do Reinforcement Learning yes.”
“it constructs a sequence of (reward, state, action) where reward conditions on the next action.”
“No mention of Decision Transformers or Trajectory Transformers? Both are offline approaches that tend to do very well at long-horizon tasks”
- Decision Transformer: ReinforcementLearning via Sequence Modeling ↗brofallon · 2021-06-10 · 1 分
- Decision Transformer: Reinforcement Learning via Sequence Modeling ↗presheaf · 2022-11-24 · 2 分