“Couple other interesting papers from 2023 to add, specifically for small language models.”
Textbooks Are All You Need II: phi-1.5 technical report
用合成“教科书质量”数据训练 13 亿参数小模型 phi-1.5
论文延续 TinyStories 和 phi-1 的“教科书就是你所需要的”思路,用现有大模型生成“教科书质量”的数据来改善学习过程,这次聚焦自然语言的常识推理,训练出 13 亿参数的 phi-1.5。该模型在自然语言任务上的表现与大 5 倍的模型相当,在小学数学和基础编程等较复杂推理任务上超过多数非前沿 LLM。它也表现出大模型的许多特征,包括好的(如逐步思考、简单的上下文学习)和坏的(幻觉、潜在的有毒与偏见生成),但由于没有网络数据,后者有改善迹象。模型已开源。
HN 上的人把它当作“数据质量与数量同样重要”和“合成教科书式数据让小模型越级表现”的代表,Phi 系列也成了这种思路的典型例子。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Quality matters just as much as quantity.”
“Textbooks Are All You Need II: phi-1.5 technical report”
“True. But look at the Phi-1.5 model - it punches 5x above its weight limit.”
“You can train LLMs entirely on synthetic data and get strong results. [0]”
“This is the line of thinking behind the Phi lineup of models [0]”
看全部 7 条 →
“Textbooks Are All You Need II (which is larger - obviously size still does contribute to performance)”
- The tide is shifting: 1.3B outperforms 7B Llama 2 ↗__vec__ · 2023-09-12 · 4 分
- Textbooks Are All You Need II: phi-1.5 technical report ↗alecco · 2023-09-12 · 1 分