按年被提到
20222023 · 3 次2026
软件工程与 AI 编程›代码生成与程序合成·arXiv:2207.14502 · cs.LG

Language Models Can Teach Themselves to Program Better

语言模型可以自学得更会编程
Patrick Haluptzok, Matthew Bowers, Adam Tauman Kalai · 2022

语言模型自造编程题,经解释器验证后自我微调变强

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2022-08-14 · 最近 2023-10-27
3不同的人
4活跃月份
4讨论串
32被引(OpenAlex)

论文探讨语言模型能否像围棋自博弈那样,自己生成有教益的编程题来提升表现。做法是让模型合成编程谜题及其解答,用 Python 解释器筛掉不正确的,再用这些经验证的合成题目微调模型,让它借助解释器“自我提升”。在公开可用的语言模型上,测试准确率提升到原来的两倍以上。

HN 为什么提它

评论者说自己设计的“自生成问题加验证”系统受它启发,也有人把它与用单元测试代替证明的类似做法并列介绍。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1代码语言模型与微调
2编程谜题(programming puzzles)
3自博弈(self-play)与自我改进
4用解释器执行验证正确性

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐cubefox · 2023-10

“The system I outlined above was inspired by this intriguing paper:”

推荐它,自己设想的系统就受它启发
Lean4 helped Terence Tao discover a small bug in his recent paper原评论 ↗
引用cubefox · 2023-05

“A very similar approach (with some sort of unit tests instead of proofs) is described here in more detail:”

把它当作非常相似的做法,只是用单元测试代替证明
This time, it feels different原评论 ↗
被提交为 story · 2 次