按年被提到
20232026 · 2 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2312.15166 · cs.CL

SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling

SOLAR 10.7B:用简单有效的深度扩展来扩大大语言模型
Dahyun Kim, Chanjun Park, Sanghoon Kim, Wonsung Lee, Wonho Song, Yunsu Kim, Hyeonwoo Kim, Yungi Kim, Hyeonju Lee, Jihoo Kim, Changbae Ahn, Seonghoon Yang 等 18 人 · 2023

复制层再继续预训练的深度扩展法(DUS),得到 107 亿参数 SOLAR

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-12-27 · 最近 2026-03-19
4不同的人
3活跃月份
4讨论串
53被引(OpenAlex)

论文提出 SOLAR 10.7B,一个 107 亿参数的大语言模型,并给出深度扩展(depth up-scaling,DUS)方法:先沿深度方向扩展,再继续预训练。与用混合专家的扩展方法相比,DUS 不需要对训练和推理做复杂改动,实验显示它能简单有效地从小模型得到高性能大模型。作者在此基础上还微调出指令遵循变体 SOLAR 10.7B-Instruct,超过 Mixtral-8x7B-Instruct,两者以 Apache 2.0 许可公开。

HN 为什么提它

评论者把它作为“给已有模型加层再继续训练”这一做法确有人成功做过的例子,并回忆它当年是同规模里很好的模型。

方法难度 3 / 5约 35 分钟有时效性
读之前最好知道
1Transformer 层结构
2大语言模型预训练与继续预训练
3混合专家(MoE)基础
4指令微调

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用kouteiheika · 2025-06

“yes, you can do something that and people have done it successfully[1] by adding extra layers to an existing model and then continuing to train it.”

说明可以给已有模型加层再继续训练,并举这篇论文为成功先例
Fine-tuning LLMs is a waste of time原评论 ↗
引用imranq · 2026-03

“duplicated transformer layers to build a 10.7B model that outperformed 30B parameter baselines.”

拿它说明复制 Transformer 层搭出的 10.7B 模型胜过 30B 基线
Show HN: How I Topped the HuggingFace Open LLM Leaderboard on Two Gaming GPUs原评论 ↗
引用woadwarrior01 · 2026-03

“Reminds me of Solar 10.7B, which was a very good model for its size ~2 year ago”

想起 Solar 10.7B:重复层再继续训练,两年前同尺寸下表现很好
被提交为 story · 1 次