推荐teleforce · 2026-05
“Please check the recent self-distillation work by MIT-ETH, UCLA and Apple”
推荐看 MIT-ETH、UCLA 和 Apple 近期的自蒸馏工作
仅用模型自己采样的输出做微调,就能提升代码生成能力
提出简单自蒸馏(SSD):用特定的温度和截断配置从模型采样代码解答,再用标准监督微调在这些样本上训练,无需验证器、教师模型或强化学习。该方法使 Qwen3-30B-Instruct 在 LiveCodeBench v6 上的 pass@1 从 42.4% 提升到 55.3%,增益集中在较难题目,并能推广到 4B、8B、30B 规模的 Qwen 和 Llama 模型。作者将收益归因于解码中的“精度—探索冲突”,认为 SSD 以依赖上下文的方式重塑了 token 分布。
评论者把它当作近期自蒸馏方向中有前景的工作来推荐,并指出其微调只用 8 张 B200,对做本地微调的公司也负担得起。
“Please check the recent self-distillation work by MIT-ETH, UCLA and Apple”
“Please check these very promising recent works and results from MIT/ETH, UCLA and Apple [1],[2,[3].”
“They used 8 x B200 GPU for model fine-tuning, which any company can afford for local tuning”
“Fun facts, this paper is cited by Simple Self Distillation (SSD) paper Apple [1],[2].”