按年被提到
20262026 · 6 次2026
软件工程与 AI 编程›代码生成与程序合成·arXiv:2604.01193 · cs.CL

Embarrassingly Simple Self-Distillation Improves Code Generation

极简自蒸馏提升代码生成
Ruixiang Zhang, Richard He Bai, Huangjie Zheng, Navdeep Jaitly, Ronan Collobert, Yizhe Zhang · 2026

仅用模型自己采样的输出做微调,就能提升代码生成能力

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2026-04-03 · 最近 2026-06-27
3不同的人
3活跃月份
6讨论串
0被引(OpenAlex)

提出简单自蒸馏(SSD):用特定的温度和截断配置从模型采样代码解答,再用标准监督微调在这些样本上训练,无需验证器、教师模型或强化学习。该方法使 Qwen3-30B-Instruct 在 LiveCodeBench v6 上的 pass@1 从 42.4% 提升到 55.3%,增益集中在较难题目,并能推广到 4B、8B、30B 规模的 Qwen 和 Llama 模型。作者将收益归因于解码中的“精度—探索冲突”,认为 SSD 以依赖上下文的方式重塑了 token 分布。

HN 为什么提它

评论者把它当作近期自蒸馏方向中有前景的工作来推荐,并指出其微调只用 8 张 B200,对做本地微调的公司也负担得起。

方法难度 3 / 5约 35 分钟有时效性
读之前最好知道
1大语言模型监督微调(SFT)
2采样温度与解码截断(top-p/top-k)
3代码生成评测(pass@1)
4自蒸馏(self-distillation)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐teleforce · 2026-05

“Please check the recent self-distillation work by MIT-ETH, UCLA and Apple”

推荐看 MIT-ETH、UCLA 和 Apple 近期的自蒸馏工作
Claude Opus 4.8原评论 ↗
推荐teleforce · 2026-06

“Please check these very promising recent works and results from MIT/ETH, UCLA and Apple [1],[2,[3].”

推荐 MIT/ETH、UCLA 和 Apple 这些很有前景的近期成果
The gap between open weights LLMs and closed source LLMs原评论 ↗
引用teleforce · 2026-04

“They used 8 x B200 GPU for model fine-tuning, which any company can afford for local tuning”

指出其微调用了 8 张 B200,任何公司都负担得起
Why domain specific LLMs won't exist: an intuition原评论 ↗
引用teleforce · 2026-05

“Fun facts, this paper is cited by Simple Self Distillation (SSD) paper Apple [1],[2].”

补充一个趣事:这篇论文被 Apple 的 SSD 论文引用
Self-Distillation Enables Continual Learning [PDF]原评论 ↗
被提交为 story · 2 次