按年被提到
20262026 · 14 次2026
软件工程与 AI 编程›编程智能体与 AI 开发·arXiv:2602.11988 · cs.SE

Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?

评估 AGENTS.md:仓库级上下文文件对编码智能体有帮助吗?
Thibaud Gloaguen, Niels Mündler-Sasahara, Mark Niklas Müller, Veselin Raychev, Martin Vechev · 2026

上下文文件通常不提升编码智能体成功率,推理成本却增加 20% 以上

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 14 人首次 2026-02-16 · 最近 2026-10-12
14不同的人
6活跃月份
14讨论串
20被引(OpenAlex)

论文检验开发者常用的 AGENTS.md 这类仓库上下文文件是否真能帮助编码智能体。作者在两种互补设置下评估任务完成表现:带有 LLM 生成上下文文件的 SWE-bench 任务,以及来自含开发者提交上下文文件的仓库的新 issue 集合。结果出人意料:提供上下文文件总体上并不提高任务成功率,平均还使推理成本增加 20% 以上,对不同 LLM、不同智能体、两类上下文文件都成立。智能体能很好地遵循文件里的指令,但流行且被模型厂商推荐的仓库概览并无帮助;上下文文件适合用来说明非标准的编码规范,其他改进应先严格评估再部署。

HN 为什么提它

评论者引用它说明自动生成的 AGENTS.md 和技能文件常常没用甚至有害:成功率没有普遍提升,成本却增加 20% 以上。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1编码智能体(coding agents)
2SWE-bench 评测
3AGENTS.md 等仓库上下文文件
4LLM 推理成本

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用mycall · 2026-02

“There is some papers [0] showing that the skill and agent files reduce the reasoning effectiveness in some use cases (e.g. autogenerated)”

引用它说明技能和智能体文件在某些场景(如自动生成)会削弱推理
Writing code is cheap now原评论 ↗
引用neya · 2026-02

“Similarly, there was a paper recently that suggested the same [1]”

提到近期论文也表明类似结论
HuggingFace Agent Skills原评论 ↗
引用mercutio93 · 2026-02

“A recent paper (arxiv 2602.11988 Evaluating AGENTS.md) found context files increase inference cost by 20%+ with marginal performance gains;”

引用它:上下文文件让推理成本增加 20% 以上,收益却很小
Show HN: Agent Swarm – Multi-agent self-learning teams (OSS)原评论 ↗
引用wolfejam · 2026-02

“ETH Zurich tested this: LLM-generated prose context = -3% performance, +20% cost.”

引用 ETH Zurich 的测试:LLM 生成的上下文使性能降 3%、成本增 20%
Show HN: I got tired of syncing Claude/Gemini/AGENTS.md and .cursorrules原评论 ↗
引用sheept · 2026-03

“which recent research[0] suggests may be counterproductive.”

引用近期研究,指出这类做法可能适得其反
Switch to Claude Without Starting Over原评论 ↗
引用OutOfHere · 2026-03

“The research is:”

贴出所说的那项研究
New Research Reassesses the Value of Agents.md Files for AI Coding原评论 ↗
看全部 13 条 →
引用suntrix3 · 2026-03

“An ETH Zurich study on 12 repos and 5,694 PRs found that loading all rules at once hurts performance by ~3% and increases cost by 20%+.”

引用 ETH Zurich 的研究:一次加载全部规则使性能降约 3%、成本增 20% 以上
Show HN: AI-nexus – Only 2-3 rules and skills load per prompt in Claude Code原评论 ↗
引用morganney · 2026-03

“Another reference: Evaluating AGENTS.md. Too many times they ignore what is defined depending on the prompt and/or context.”

拿它佐证智能体常常会忽略已定义的上下文文件
Agents.md Are Useless原评论 ↗
引用imiric · 2026-03

“Others had different findings for commonly accepted practices[2], some you may have adopted from reading documentation”

指出它对一些公认做法的发现与常见看法不同
Anatomy of the .claude/ Folder原评论 ↗
引用criley2 · 2026-04

“it performed more poorly than human editted AGENTS.md? Evaluating AGENTS.md”

引用它说明自动生成的 AGENTS.md 表现不如人工编辑的
Show HN: A Karpathy-style LLM wiki your agents maintain (Markdown and Git)原评论 ↗
引用NichoPaolucci · 2026-06

“I'm planning to reorganize our context repo after finding this paper (it argues that AI generated context files can stunt the performance of models):”

读到它后打算重组自家上下文仓库,因其称 AI 生成的上下文文件会拖累模型
Uber's $1,500/Month AI Limit Is a Useful Signal for AI Tool Pricing原评论 ↗
引用Systemerror7A69 · 2026-08

“Theres a study from earlier this year which suggests the opposite:”

引用它反驳:仓库上下文文件对编码智能体差别不大
Anthropic Refuses to Support Agents.md原评论 ↗
引用ghboo0927 · 2026-10

“There are established conventions for separating the two, and research suggests that the”

引用研究,说明偏向智能体的仓库概述文档对智能体没有帮助
I paid people to try and follow my README原评论 ↗
被提交为 story · 1 次