按年被提到
20212021 · 3 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:2106.01345 · cs.LG

Decision Transformer: Reinforcement Learning via Sequence Modeling

Decision Transformer:通过序列建模做强化学习
Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee, Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivas, Igor Mordatch · 2021

把强化学习当作条件序列建模,用因果 Transformer 输出动作

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2021-06-10 · 最近 2025-10-05发表于 neural information processing systems
7不同的人
7活跃月份
8讨论串
626被引(OpenAlex)

论文把强化学习抽象为序列建模问题,提出 Decision Transformer:不拟合价值函数或计算策略梯度,而是让因果掩码的 Transformer 以期望回报、过去的状态和动作为条件,自回归地生成能达到该回报的未来动作。在 Atari、OpenAI Gym 和 Key-to-Door 任务上,它达到或超过了最先进的无模型离线强化学习基线。

HN 为什么提它

HN 上的人把它当作证明 Transformer 可以做强化学习、以及把回报作为条件 token 的先例,常拿它与 PPO 对比或在谈离线 RL 时补充提及。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1强化学习基础(回报、策略、价值函数)
2Transformer 架构
3离线强化学习(offline RL)
4自回归语言模型(GPT)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先了解 Atari 强化学习的设定,再看 Transformer、BERT 和 GPT-3 的序列建模范式,最后读 Decision Transformer 如何把 RL 变成条件序列建模。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    目标论文的 Atari 实验以 DQN 类方法作对照,需要懂这一类基于价值函数的做法。

    读Q 学习与 Atari 设定;对比目标论文不学价值函数。

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Decision Transformer 的主体就是因果掩码的 Transformer。

    读自注意力与因果掩码;位置编码。

  3. 3
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    代表 Transformer 预训练的另一条路线,帮助区分双向与自回归,目标论文属于后者。

    读预训练与微调范式;与自回归模型的对比。

  4. 4
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT 类自回归语言模型的规模化范例,目标论文借其简洁和可扩展性来做 RL。

    读自回归建模与以上下文条件化的思想。

  5. 5
    Decision Transformer: Reinforcement Learning via Sequence ModelingDecision Transformer:通过序列建模做强化学习 · 2021 · 就是这篇

    目标论文:把轨迹表示为(回报、状态、动作)序列,用因果 Transformer 直接输出动作。

    读returns-to-go 条件化、轨迹的序列表示与 Atari、Gym 的离线 RL 实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐isaacimagine · 2021-07

“PPO is awesome, but so is GPT-style reward-trajectory prediction!”

推荐,称 PPO 很棒,GPT 式的奖励轨迹预测同样出色
The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games原评论 ↗
推荐radarsat1 · 2025-10

“it seemed really interesting when it was first published but I haven't read much follow-up work.”

称刚发表时很有意思,但没怎么看后续工作
Implicit Actor Critic Coupling via a Supervised Learning Framework for RLVR原评论 ↗
引用sdenton4 · 2021-07

“The new hotness this month just says”

把它当作本月新热点,用因果 Transformer 把 RL 变成序列建模
Deep reinforcement learning is a waste of time (2019)原评论 ↗
引用og_kalu · 2023-10

“Transformers can do Reinforcement Learning yes.”

拿它说明 Transformer 确实能做强化学习
MemGPT: Towards LLMs as Operating Systems原评论 ↗
引用visarga · 2024-08

“it constructs a sequence of (reward, state, action) where reward conditions on the next action.”

引作先例:构造 (reward, state, action) 序列,由 reward 决定下一动作
RLHF is just barely RL原评论 ↗
引用isaacimagine · 2025-06

“No mention of Decision Transformers or Trajectory Transformers? Both are offline approaches that tend to do very well at long-horizon tasks”

指出漏提了 Decision Transformer,它是擅长长时程任务的离线方法
Q-learning is not yet scalable原评论 ↗
被提交为 story · 2 次