“The system that they describe, Codefusion is interesting because it's a diffusion model for generating code rather than an autoregressive model like most LLM code generators.”
CodeFusion: A Pre-trained Diffusion Model for Code Generation
用扩散模型对整段程序迭代去噪来生成代码,而非自回归
针对自回归代码生成难以回头修改已生成 token 的局限,提出 CodeFusion:以自然语言编码为条件,对完整程序迭代去噪的预训练扩散代码生成模型。在 Bash、Python 和 Excel 条件格式规则的自然语言转代码任务上,仅 75M 参数的 CodeFusion 在 top-1 准确率上与 350M–175B 的自回归系统相当,top-3 和 top-5 准确率更高。
HN 上的人觉得它有意思是因为用扩散模型而非自回归模型生成代码;但也有评论指出论文里关于 ChatGPT 参数量的说法来源薄弱,该论文后来被撤回。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先掌握 Transformer 编码器和 T5 的文本到文本框架,再看文本扩散与图像扩散如何用文本条件,最后读 CodeFusion 如何把扩散用到整段代码上。
- 1
- 2
T5 是用预训练编码器处理自然语言输入的代表,也是常见基线
读文本到文本统一框架与预训练目标的思路;跳过各任务的详细对比
- 3
CodeGen 是自回归代码生成的代表,说明 CodeFusion 要改进的对象
读自回归逐 token 生成代码的方式与多轮程序合成设定
- 4
Imagen 展示了用冻结的文本编码器去条件化扩散模型
读文本编码器如何作为条件输入扩散去噪网络,抓住这个条件化思路
- 5
AR-Diffusion 是把扩散用于文本生成并兼顾顺序的相关尝试
读离散文本如何放进扩散框架,以及它与自回归的折中思路
- 6CodeFusion: A Pre-trained Diffusion Model for Code Generation
目标论文:用扩散对整段程序迭代去噪,克服自回归无法回改前面 token 的限制
读整段程序去噪的流程、条件编码方式,以及与自回归基线的对比实验
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“the noted URL is a just a Forbes blogger with no special qualifications that would make what he claimed particularly credible”
“To be precise, ChatGPT 3.5 turbo being 20B is officially a mistake from a Microsoft Researcher”
- Microsoft says GPT 3.5 has 20B parameters? ↗Heidaradar · 2023-10-30 · 2 分
- CodeFusion: A Pre-Trained Diffusion Model for Code Generation ↗og_kalu · 2023-10-30 · 2 分