按年被提到
20232023 · 7 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2305.11206 · cs.CL

LIMA: Less Is More for Alignment

LIMA:对齐只需“少而精”
Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, Lili Yu, Susan Zhang, Gargi Ghosh 等 15 人 · 2023

仅用 1000 条精选样本微调,就能让大模型很好地对齐

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2023-05-22 · 最近 2024-10-15
8不同的人
5活跃月份
9讨论串
478被引(OpenAlex)

论文用标准监督损失,仅在 1000 条精心挑选的提示与回答上微调 65B 的 LLaMa 模型,不用任何强化学习或人类偏好建模,得到 LIMA。在受控人工评测中,LIMA 的回答在 43% 的情况下与 GPT-4 相当或更受偏好,对 Bard 为 58%,对经人类反馈训练的 DaVinci003 为 65%。作者据此认为大模型的几乎所有知识都来自预训练,只需少量指令微调数据就能教会模型产出高质量回答。

HN 为什么提它

HN 上的人用它说明“数据质量和数量同样重要”:极少量高质量样本就足以对齐基础模型,并把它当作了解微调与对齐的入门起点。

实证研究难度 3 / 5约 35 分钟有时效性
读之前最好知道
1大语言模型预训练
2监督微调(SFT)与指令微调
3RLHF(基于人类反馈的强化学习)
4LLaMa 模型

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐tucnak · 2024-10

“The LIMA paper, I think, would be a good place to start LIMA”

推荐 LIMA 论文作为了解这个话题的好起点
Zamba2-7B原评论 ↗
引用srslack · 2023-05

“They're doing it right now: LIMA”

引用它:已经有人在免费整理训练数据
GPT detectors are biased against non-native English writers原评论 ↗
引用anon373839 · 2023-06

“LIMA: Less Is More for Alignment [showing that a very small number of high quality examples is sufficient to align a base model]”

引用 LIMA:极少量高质量样本就足以对齐一个基座模型
Falcon 40B LLM (which beats Llama) now Apache 2.0原评论 ↗
引用thaw13579 · 2023-06

“secondary supervised learning stages actually can get by with a far smaller set of highly curated prompt-response data, e.g. LIMA.”

以 LIMA 为例说明后续监督阶段只需少得多的精选提示-回答数据
AI has poisoned its own well原评论 ↗
引用isaacfung · 2023-09

“Quality matters just as much as quantity.”

引用它说明数据质量和数量同样重要
Large Language Models for Compiler Optimization原评论 ↗
引用isaacfung · 2023-09

“LIMA: Less Is More for Alignment”

把 LIMA 列为相关工作:对齐方面少即是多
Outperforming LLMs with less training data and smaller model sizes原评论 ↗
看全部 7 条 →
引用dvt · 2024-04

“Meta has a paper out that argues you only need a data set of 1000[1] to achieve pretty good alignment (fine-tuning) results.”

引用 Meta 这篇论文:只需 1000 条数据就能微调出相当好的对齐效果
Ask HN: Most efficient way to fine-tune an LLM in 2024?原评论 ↗
被提交为 story · 2 次