“In this benchmark, models can correctly solve Rust problems 61% on first pass”
按年被提到
20252026 · 6 次2026
AutoCodeBench: Large Language Models are Automatic Code Benchmark Generators
AutoCodeBench:大语言模型是自动的代码基准生成器
Jason Chou, Ao Liu, Yuchi Deng, Zhiying Zeng, Tao Zhang, Haotian Zhu, Jianwei Cai, Yue Mao, Chenchen Zhang, Lingyun Tan, Ziyan Xu, Bohui Zhai 等 16 人 · 2025
无需人工标注自动生成多语言代码基准,含 3,920 道题
被提及 · 5 人首次 2026-03-02 · 最近 2026-09-25
5不同的人
4活跃月份
5讨论串
2被引(OpenAlex)
论文提出 AutoCodeGen:让 LLM 生成测试输入、在多语言沙箱中得到输出,并通过逆序出题和多重过滤保证质量,从而无需人工标注就能构造高难度多语言代码题。据此构建的 AutoCodeBench 含 3,920 道题,均匀分布在 20 种编程语言上;对 30 多个开源和闭源模型的评测表明,即使最先进的模型也难以应对这些任务。
HN 为什么提它
HN 评论者用它的分语言结果比较 LLM 写不同编程语言的水平,例如 Rust 略低于 Python、Elixir 得分最高。
实证研究难度 3 / 5约 35 分钟有时效性
读之前最好知道
1LLM 代码生成评测(如 pass@1)
2沙箱执行与单元测试
3多种编程语言的基础知识
4基准构造与数据过滤
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用moritz · 2026-03
引用基准结果:Rust 题首轮正确率 61%
引用avereveard · 2026-05
“tldr 2% average point lost on Rust compared to python, gap vary by model”
概括:Rust 平均比 Python 低约 2 分,差距因模型而异
引用briandw · 2026-05
“LLMs seemed to do best on the strongly typed and functional language Elixir.”
指出 LLM 在强类型函数式语言 Elixir 上表现最好
引用skhameneh · 2026-07
“there have been publications on findings of LLM efficacy with different languages. Rust is most often towards the lower end of efficiency/correctness when benchmarked.”
提到已有研究显示 Rust 在各语言基准中通常偏低
引用Stromgren · 2026-07
“In fact it came out as the absolute best in a comparison by Tencent (1). See table 4.”
引用腾讯的对比,表 4 里 Elixir 绝对最优
引用moritz · 2026-09
“In this benchmark, models can correctly solve Rust problems 61% on first pass”
引用基准数据:Rust 题首轮正确率 61%