按年被提到
20222023 · 5 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2212.10560 · cs.CL

Self-Instruct: Aligning Language Models with Self-Generated Instructions

Self-Instruct:用自生成指令对齐语言模型
Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, Hannaneh Hajishirzi · 2022

让语言模型自己生成指令数据来微调自己

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2023-03-20 · 最近 2025-01-14发表于 Proceedings of the conference - Association for Computational Linguistics. Meeting
7不同的人
6活跃月份
7讨论串
726被引(OpenAlex)

Self-Instruct 是一个让预训练语言模型靠自己的生成来提升指令遵循能力的框架:模型生成指令、输入和输出样本,过滤掉无效或相似的样本,再用它们微调原模型。把它用在原始 GPT3 上,在 Super-NaturalInstructions 上绝对提升 33%,与用私有用户数据和人工标注训练的 InstructGPT-001 相当;在专家编写的新任务指令上,人工评测显示它大幅优于现有公开指令数据集,只落后 InstructGPT-001 约 5%。作者同时发布了大规模合成数据集。

HN 为什么提它

HN 上的人在讨论 Alpaca 等开源指令微调模型和合成数据时引用它,说明指令微调数据可以主要由模型自己生成。

方法难度 2 / 5约 40 分钟经得起时间
读之前最好知道
1大语言模型预训练
2指令微调(instruction tuning)
3少样本提示(few-shot prompting)
4GPT-3 与 InstructGPT

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐jkeisling · 2023-03

“here are a couple papers that might be helpful for people doing their own training”

推荐给自己训练模型的人参考,Self-Instruct 只用约 100 条人工标注就接近 InstructGPT
Show HN: Finetune LLaMA-7B on commodity GPUs using your own text原评论 ↗
推荐hapanin · 2023-12

“Since nobody is actually recommending papers, here's an incomplete reading list”

列入阅读清单,讲用模型自己生成的指令来引导训练 LLM
Ask HN: AI/ML papers to catch up with current state of AI?原评论 ↗
引用f_devd · 2023-03

“Alpaca uses Self-Instruct[0] which is better than just the pre-training”

指出 Alpaca 用的 Self-Instruct 比单纯预训练更好,也是其指令数据的来源
The genie escapes: Stanford copies the ChatGPT AI for less than $600原评论 ↗
引用cubefox · 2023-05

“There have been other approaches to make instruction tuning easier. This one proceeds largely on self generated synthetic data:”

介绍另一种让指令微调更容易的做法,主要靠自生成的合成数据
LIMA: Less Is More for Alignment原评论 ↗
引用suprjami · 2024-12

“It has existed for years:”

指出用模型自己的输出训练早就有先例,用它为证
The Curse of Recursion: Training on generated data makes models forget (2023)原评论 ↗
引用lxe · 2025-01

“And the one referenced in there on synthetic data generation: Self-Instruct”

补充文中提到的合成指令数据生成的源论文
AI Engineer Reading List原评论 ↗
被提交为 story · 1 次