按年被提到
20232023 · 4 次2026
软件工程与 AI 编程›代码生成与程序合成·arXiv:2310.17680 · cs.SE

CodeFusion: A Pre-trained Diffusion Model for Code Generation

CodeFusion:用于代码生成的预训练扩散模型
Mukul Singh, José Cambronero, Sumit Gulwani, Vu Le, Carina Negreanu, Gust Verbruggen · 2023

用扩散模型对整段程序迭代去噪来生成代码,而非自回归

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2023-10-30 · 最近 2024-03-23
5不同的人
3活跃月份
4讨论串
24被引(OpenAlex)

针对自回归代码生成难以回头修改已生成 token 的局限,提出 CodeFusion:以自然语言编码为条件,对完整程序迭代去噪的预训练扩散代码生成模型。在 Bash、Python 和 Excel 条件格式规则的自然语言转代码任务上,仅 75M 参数的 CodeFusion 在 top-1 准确率上与 350M–175B 的自回归系统相当,top-3 和 top-5 准确率更高。

HN 为什么提它

HN 上的人觉得它有意思是因为用扩散模型而非自回归模型生成代码;但也有评论指出论文里关于 ChatGPT 参数量的说法来源薄弱,该论文后来被撤回。

方法难度 3 / 5约 35 分钟有时效性
读之前最好知道
1扩散模型(diffusion models)
2自回归语言模型
3Transformer 架构
4代码生成评测(top-k 准确率)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先掌握 Transformer 编码器和 T5 的文本到文本框架,再看文本扩散与图像扩散如何用文本条件,最后读 CodeFusion 如何把扩散用到整段代码上。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    CodeFusion 的自然语言编码器和去噪网络都是 Transformer 结构

    读编码器-解码器与自注意力的整体结构;不必深究翻译实验

  2. 2
    Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer探索迁移学习的极限:统一的文本到文本 Transformer · 2019

    T5 是用预训练编码器处理自然语言输入的代表,也是常见基线

    读文本到文本统一框架与预训练目标的思路;跳过各任务的详细对比

  3. 3

    CodeGen 是自回归代码生成的代表,说明 CodeFusion 要改进的对象

    读自回归逐 token 生成代码的方式与多轮程序合成设定

  4. 4
    Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding具备深度语言理解的照片级文本到图像扩散模型(Imagen) · 2022

    Imagen 展示了用冻结的文本编码器去条件化扩散模型

    读文本编码器如何作为条件输入扩散去噪网络,抓住这个条件化思路

  5. 5

    AR-Diffusion 是把扩散用于文本生成并兼顾顺序的相关尝试

    读离散文本如何放进扩散框架,以及它与自回归的折中思路

  6. 6
    CodeFusion: A Pre-trained Diffusion Model for Code GenerationCodeFusion:用于代码生成的预训练扩散模型 · 2023 · 就是这篇

    目标论文:用扩散对整段程序迭代去噪,克服自回归无法回改前面 token 的限制

    读整段程序去噪的流程、条件编码方式,以及与自回归基线的对比实验

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐Flux159 · 2023-10

“The system that they describe, Codefusion is interesting because it's a diffusion model for generating code rather than an autoregressive model like most LLM code generators.”

推荐 CodeFusion,它用扩散模型生成代码,而非多数 LLM 的自回归方式
Microsoft says GPT 3.5 has 20B parameters?原评论 ↗
批评nl · 2023-11

“the noted URL is a just a Forbes blogger with no special qualifications that would make what he claimed particularly credible”

批评论文的参数量说法来源薄弱,只引了一位没有特殊资质的 Forbes 博主
Orca 2: Teaching Small Language Models How to Reason原评论 ↗
批评speedgoose · 2024-03

“To be precise, ChatGPT 3.5 turbo being 20B is officially a mistake from a Microsoft Researcher”

Emad Mostaque resigned as CEO of Stability AI原评论 ↗
被提交为 story · 2 次