按年被提到
20222022 · 2 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:2205.14953 · cs.MA

Multi-Agent Reinforcement Learning is a Sequence Modeling Problem

多智能体强化学习是一个序列建模问题
Muning Wen, Jakub Grudzien Kuba, Runji Lin, Weinan Zhang, Ying Wen, Jun Wang, Yaodong Yang · 2022

用编码器-解码器 Transformer 把多智能体决策转成序列预测

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-05-31 · 最近 2023-10-16
3不同的人
3活跃月份
4讨论串
199被引(OpenAlex)

论文提出 Multi-Agent Transformer(MAT),把合作式多智能体强化学习转化为序列建模问题:把智能体的观测序列映射为最优动作序列。其编码器-解码器结构借助多智能体优势分解定理,把联合策略搜索变成序列决策,只需线性时间复杂度并带有单调提升保证。MAT 通过在线、同策略方式训练,在 StarCraftII、Multi-Agent MuJoCo、灵巧手操作和 Google Research Football 上优于 MAPPO、HAPPO,并在未见任务上表现为出色的少样本学习者。

HN 为什么提它

评论者用它说明 Decision Transformer 这类序列模型非常通用,连多智能体强化学习也能直接套用,即 Transformer 可以做强化学习。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1强化学习与多智能体强化学习(MARL)
2Transformer 编码器-解码器
3多智能体优势分解定理
4Decision Transformer

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2022-05

“DT is so general it's almost trivial to make it do multi-agent RL as well [OTHER_PAPER] Multi-Agent Reinforcement Learning is a Sequence Modeling Problem”

拿它说明 Decision Transformer 很通用,做多智能体 RL 也很容易
The Scaling Hypothesis (2021)原评论 ↗
引用og_kalu · 2023-10

“Transformers can do Reinforcement Learning yes.”

引它说明 Transformer 可以做强化学习
MemGPT: Towards LLMs as Operating Systems原评论 ↗
被提交为 story · 2 次