按年被提到
20252026 · 6 次2026
软件工程与 AI 编程›代码生成与程序合成·arXiv:2508.09101 · cs.CL

AutoCodeBench: Large Language Models are Automatic Code Benchmark Generators

AutoCodeBench:大语言模型是自动的代码基准生成器
Jason Chou, Ao Liu, Yuchi Deng, Zhiying Zeng, Tao Zhang, Haotian Zhu, Jianwei Cai, Yue Mao, Chenchen Zhang, Lingyun Tan, Ziyan Xu, Bohui Zhai 等 16 人 · 2025

无需人工标注自动生成多语言代码基准,含 3,920 道题

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2026-03-02 · 最近 2026-09-25
5不同的人
4活跃月份
5讨论串
2被引(OpenAlex)

论文提出 AutoCodeGen:让 LLM 生成测试输入、在多语言沙箱中得到输出,并通过逆序出题和多重过滤保证质量,从而无需人工标注就能构造高难度多语言代码题。据此构建的 AutoCodeBench 含 3,920 道题,均匀分布在 20 种编程语言上;对 30 多个开源和闭源模型的评测表明,即使最先进的模型也难以应对这些任务。

HN 为什么提它

HN 评论者用它的分语言结果比较 LLM 写不同编程语言的水平,例如 Rust 略低于 Python、Elixir 得分最高。

实证研究难度 3 / 5约 35 分钟有时效性
读之前最好知道
1LLM 代码生成评测(如 pass@1)
2沙箱执行与单元测试
3多种编程语言的基础知识
4基准构造与数据过滤

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用moritz · 2026-03

“In this benchmark, models can correctly solve Rust problems 61% on first pass”

引用基准结果:Rust 题首轮正确率 61%
Go is the best language for agents原评论 ↗
引用avereveard · 2026-05

“tldr 2% average point lost on Rust compared to python, gap vary by model”

概括:Rust 平均比 Python 低约 2 分,差距因模型而异
If AI Writes Your Code, Why Use Python?原评论 ↗
引用briandw · 2026-05

“LLMs seemed to do best on the strongly typed and functional language Elixir.”

指出 LLM 在强类型函数式语言 Elixir 上表现最好
If AI Writes Your Code, Why Use Python?原评论 ↗
引用skhameneh · 2026-07

“there have been publications on findings of LLM efficacy with different languages. Rust is most often towards the lower end of efficiency/correctness when benchmarked.”

提到已有研究显示 Rust 在各语言基准中通常偏低
How Our Rust-to-Zig Rewrite Is Going原评论 ↗
引用Stromgren · 2026-07

“In fact it came out as the absolute best in a comparison by Tencent (1). See table 4.”

引用腾讯的对比,表 4 里 Elixir 绝对最优
Elixir-lang.org has a new design原评论 ↗
引用moritz · 2026-09

“In this benchmark, models can correctly solve Rust problems 61% on first pass”

引用基准数据:Rust 题首轮正确率 61%
Topcoat is pushing the boundary of server applications with Rust原评论 ↗