按年被提到
20232023 · 3 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2309.12288 · cs.CL

The Reversal Curse: LLMs trained on "A is B" fail to learn "B is A"

逆转诅咒:在「A 是 B」上训练的 LLM 学不会「B 是 A」
Lukas Berglund, Meg Tong, Max Kaufmann, Mikita Balesni, Asa Cooper Stickland, Tomasz Korbak, Owain Evans · 2023

自回归大模型学了「A 是 B」,却不能自动推出「B 是 A」

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 9 人首次 2023-10-09 · 最近 2026-08-12
9不同的人
7活跃月份
7讨论串
126被引(OpenAlex)

揭示自回归 LLM 的一个泛化失败:模型在形如「A 是 B」的句子上训练后,不会自动泛化到反方向「B 是 A」,且正确答案的似然不比随机名字更高,这就是逆转诅咒。若「A 是 B」出现在上下文中,模型则能推出反向关系。作者用虚构陈述微调 GPT-3 和 Llama-1 验证,并发现该现象在不同模型规模和家族中稳健、数据增强也无法缓解;在真实名人问题上,GPT-4 回答「某人的母亲是谁」的正确率为 79%,反向问题仅 33%。

HN 为什么提它

HN 上的人用它来说明 LLM 在推理和泛化上的缺陷:训练时学到的事实反向提问就答不出来,似乎更像检索而非真正理解,并把它与「能力参差」的论点并列。

实证研究难度 2 / 5约 40 分钟经得起时间
读之前最好知道
1自回归语言模型
2微调(finetuning)
3知识的泛化与检索
4大模型评测方法

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐sgt101 · 2024-01

“this is a good paper: The Reversal Curse”

推荐这篇好论文,说明 LLM 无法反向回忆所学事实,更像检索行为
New theory suggests LLMs can understand text原评论 ↗
推荐michaelt · 2024-07

“I can point you to one of the papers: The Reversal Curse”

给出一篇论文,用实验说明 LLM 学不会反转“A 是 B”的事实
Mistral NeMo原评论 ↗
引用godelski · 2023-10

“Commutative properties (The (idk why anyone was surprised) "reversal curse": The Reversal Curse)”

以“逆转诅咒”为交换律问题的例子,并觉得没什么好惊讶
LLMs can't self-correct in reasoning tasks, DeepMind study finds原评论 ↗
引用og_kalu · 2023-10

“This was a retrieval from training issue not an inference one.”

认为这是训练后的检索问题,而非推理问题,反向提问时模型就想不起事实
LLMs can't self-correct in reasoning tasks, DeepMind study finds原评论 ↗
引用cedws · 2023-11

“There was a paper that shows LLMs cannot generalise[0].”

引用它说明 LLM 无法把“A 是 B”泛化到“B 是 A”
Greg Brockman quits OpenAI原评论 ↗
引用toisanji · 2024-06

“Just look at basic LLMs failing at the reversal curse: The Reversal Curse”

拿逆转诅咒说明基础 LLM 的缺陷,认为再多数据也解决不了
A most profound video game: a good cognitive aid for research原评论 ↗
看全部 8 条 →
引用tcp_handshaker · 2026-08

“The Reversal Curse: LLMs Trained on “A is B” Fail to Learn “B is A” - The Reversal Curse”

贴出该论文,作为 LLM 在反向推断上推理失败的例子
Tim Gowers: What sort of maths are LLMs good at?原评论 ↗
引用criley2 · 2026-08

“General365, LLMEval-Logic and the Reversal Curse are actually fascinating evidence for that jaggedness.”

把逆转诅咒当作 LLM 能力参差不齐的有力证据
Tim Gowers: What sort of maths are LLMs good at?原评论 ↗
被提交为 story · 1 次