按年被提到
20232023 · 3 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2311.11829 · cs.CL

System 2 Attention (is something you might need too)

System 2 Attention(也许你也需要)
Jason Weston, Sainbayar Sukhbaatar · 2023

让 LLM 先重写上下文去掉无关内容,再作答,提升客观性

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2023-11-21 · 最近 2025-02-03
6不同的人
3活跃月份
6讨论串
37被引(OpenAlex)

Transformer 语言模型的软注意力容易把上下文里的无关信息带入隐表示,损害下一个 token 的生成。S2A 让 LLM 利用自然语言推理和遵循指令的能力,先重新生成只保留相关部分的输入上下文,再基于重写后的上下文作答。在含观点或无关信息的问答、数学应用题和长文生成三类任务上,S2A 优于标准注意力的 LLM,提高事实性和客观性并减少谄媚。

HN 为什么提它

评论者把它当作「在回答前先过滤掉干扰性或带偏见的上下文」的做法来引用,并认为让模型挑选有意义的 token 是更有前景的方向。

方法难度 3 / 5约 25 分钟经得起时间
读之前最好知道
1Transformer 软注意力
2提示工程(prompting)
3谄媚(sycophancy)
4问答与数学应用题评测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用armcat · 2024-03

“or how you approach the filtering-out part, e.g. using "System 2 Attention", System 2 Attention (is something you might need too).”

以 System 2 Attention 为例,说明如何做过滤:重写提示以去掉无关或有偏的上下文
Fine tune a 70B language model at home原评论 ↗
引用astrange · 2024-03

“where they identified which parts of the input would be distracting for the LLM and just deleted them.”

描述它的做法:找出输入中会干扰 LLM 的部分并直接删掉
How Chain-of-Thought Reasoning Helps Neural Networks Compute原评论 ↗
引用activatedgeek · 2025-02

“Perhaps something more in the spirit of System 2 attention which selects meaningful tokens for the generated output would be more promising [4].”

认为更符合 System 2 Attention 精神的做法更有希望,即为输出挑选有意义的 token
Show HN: Klarity – Open-source tool to analyze uncertainty/entropy in LLM output原评论 ↗
被提交为 story · 3 次