引用isaacimagine · 2025-06
“No mention of Decision Transformers or Trajectory Transformers? Both are offline approaches that tend to do very well at long-horizon tasks”
指出漏提了 Trajectory Transformer,它是擅长长时程任务的离线方法
用 Transformer 建模轨迹分布,把波束搜索当作规划算法解 RL
传统强化学习估计平稳策略或单步模型并借助马尔可夫性在时间上分解问题。论文把 RL 视为通用的序列建模问题,用 Transformer 对轨迹分布建模,并把波束搜索改用作规划算法,从而简化许多设计决策,省去离线 RL 算法里的许多常见组件。该方法在长时程动力学预测、模仿学习、目标条件 RL 和离线 RL 上都表现出灵活性,并可与现有无模型算法结合,在稀疏奖励的长时程任务上得到最先进的规划器。
HN 评论把它(Trajectory Transformer)和 Decision Transformer 并列,作为离线强化学习做成序列建模且擅长长时程任务的代表方法。
“No mention of Decision Transformers or Trajectory Transformers? Both are offline approaches that tend to do very well at long-horizon tasks”