按年被提到
20232023 · 8 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2309.05463 · cs.CL

Textbooks Are All You Need II: phi-1.5 technical report

教科书就是你所需要的 II:phi-1.5 技术报告
Yuanzhi Li, Sébastien Bubeck, Ronen Eldan, Allie Del Giorno, Suriya Gunasekar, Yin Tat Lee · 2023

用合成“教科书质量”数据训练 13 亿参数小模型 phi-1.5

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2023-09-12 · 最近 2024-01-07
7不同的人
4活跃月份
9讨论串
242被引(OpenAlex)

论文延续 TinyStories 和 phi-1 的“教科书就是你所需要的”思路,用现有大模型生成“教科书质量”的数据来改善学习过程,这次聚焦自然语言的常识推理,训练出 13 亿参数的 phi-1.5。该模型在自然语言任务上的表现与大 5 倍的模型相当,在小学数学和基础编程等较复杂推理任务上超过多数非前沿 LLM。它也表现出大模型的许多特征,包括好的(如逐步思考、简单的上下文学习)和坏的(幻觉、潜在的有毒与偏见生成),但由于没有网络数据,后者有改善迹象。模型已开源。

HN 为什么提它

HN 上的人把它当作“数据质量与数量同样重要”和“合成教科书式数据让小模型越级表现”的代表,Phi 系列也成了这种思路的典型例子。

实证研究难度 3 / 5约 30 分钟有时效性
读之前最好知道
1Transformer 语言模型
2合成数据与数据质量
3预训练与基准评测
4phi-1 与 TinyStories 背景

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐dmezzetti · 2024-01

“Couple other interesting papers from 2023 to add, specifically for small language models.”

补充推荐面向小语言模型的论文,好而精炼的训练数据让小模型表现更好
Ten Noteworthy AI Research Papers of 2023原评论 ↗
引用isaacfung · 2023-09

“Quality matters just as much as quantity.”

拿它说明数据质量和数量同样重要
Large Language Models for Compiler Optimization原评论 ↗
引用isaacfung · 2023-09

“Textbooks Are All You Need II: phi-1.5 technical report”

把 phi-1.5 报告列入数据质量相关工作的清单
Outperforming LLMs with less training data and smaller model sizes原评论 ↗
引用visarga · 2023-10

“True. But look at the Phi-1.5 model - it punches 5x above its weight limit.”

以 phi-1.5 为例,说明合成教科书式数据能让小模型表现远超其体量
AI hype is built on high test scores. Those tests are flawed原评论 ↗
引用Philpax · 2023-11

“You can train LLMs entirely on synthetic data and get strong results. [0]”

拿它说明完全用合成数据训练 LLM 也能得到强结果
A Coder Considers the Waning Days of the Craft原评论 ↗
引用Philpax · 2023-11

“This is the line of thinking behind the Phi lineup of models [0]”

指出这是 Phi 系列模型背后的思路,即用教科书质量的合成数据训练
Show HN: An AI-Generated Encyclopedia原评论 ↗
看全部 7 条 →
引用yyyk · 2023-11

“Textbooks Are All You Need II (which is larger - obviously size still does contribute to performance)”

引用 phi-1.5 报告作对比,并指出模型规模仍然影响性能
MonadGPT – What would have happened if ChatGPT was invented in the 17th century?原评论 ↗
被提交为 story · 2 次