按年被提到
20262026 · 10 次2026
软件工程与 AI 编程›编程智能体与 AI 开发·arXiv:2603.24755 · cs.SE

SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks

SlopCodeBench:衡量编程智能体在长周期迭代任务中如何退化
Gabriel Orlanski, Devjeet Roy, Alexander Yun, Changho Shin, Alex Gu, Albert Ge, Dyah Adila, Nicholas Roberts, Frederic Sala, Aws Albarghouthi · 2026

迭代扩展任务下,编程智能体的代码如何越写越烂的基准

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2026-03-27 · 最近 2026-07-28
9不同的人
4活跃月份
9讨论串
1被引(OpenAlex)

论文提出 SlopCodeBench,包含 36 个问题、196 个检查点,让智能体反复扩展自己写的解决方案,并度量结构侵蚀与冗余两种退化。在 15 个编程智能体上,没有一个能端到端解决任何问题,最好的只通过 14.8% 的检查点;约 77% 的轨迹结构侵蚀上升、75.5% 的冗余上升,智能体代码比 473 个开源 Python 仓库更冗长、更侵蚀。明确的质量提示能降低初始冗余和侵蚀,但不改变退化速度。

HN 为什么提它

评论者拿它当证据,说明编程智能体随系统复杂度上升和多轮迭代会让代码越来越糟,也有人直接用它跑评测。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1编程智能体(coding agent)
2软件设计与代码质量
3基准测试(benchmark)
4圈复杂度等代码度量

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用FiberBundle · 2026-03

“There is actually some evidence that coding agents struggle the same way humans do as the complexity of the system increases [0].”

拿它说明编码智能体和人一样,系统越复杂越吃力
Claude Code's source code has been leaked via a map file in their NPM registry原评论 ↗
引用kayge · 2026-03

“Research Paper — SlopCodeBench”

列出这篇研究论文,此前已提交过 HN
AI Can Write Code, but Can It Build Software?原评论 ↗
引用hirako2000 · 2026-05

“here is a similar, more recent research paper from MIT and co:”

引用一篇类似的、更新的 MIT 等的论文,对 AI 的说法持怀疑
Googlebook: Designed for Gemini Intelligence – Coming Fall 2026 – Googlebook原评论 ↗
引用geraltofrivia · 2026-07

“In fact, there are some papers (that we cited) which create a set of tasks doing exactly this, and it is non-trivial [1].”

指出已有引用的论文专门构造这类连续任务集,做起来并不简单
Does Code Cleanliness Affect Coding Agents?原评论 ↗
引用djx22 · 2026-07

“Actually, this paper shows that the LLMs create a lot more slop and degradation of the code after the first prompt.”

拿它说明 LLM 在第一次提示之后会产生更多低质代码并让代码退化
Control the Ideas, Not the Code原评论 ↗
引用dhorthy · 2026-07

“fetch this article for slopcodebench and help me run an eval on a subset of problems with opus 5 SlopCodeBench”

让智能体拉取该基准文章,并用 opus 5 对部分题目跑评测
Benchmarking Opus 5 on SlopCodeBench原评论 ↗
看全部 7 条 →
引用weiliddat · 2026-07

“Edit: FWIW the paper the post quoted has repositories as slop baseline SlopCodeBench”

补充说论文把代码仓库作为低质代码的基线
Benchmarking Opus 5 on SlopCodeBench原评论 ↗
被提交为 story · 3 次