按年被提到
20252025 · 8 次2026
AI 安全、伦理与社会影响›AI 的经济与社会影响·arXiv:2503.14499 · cs.AI

Measuring AI Ability to Complete Long Software Tasks

衡量 AI 完成长软件任务的能力
Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley 等 26 人 · 2025

用人类耗时衡量 AI 能力:50% 成功的任务时长约每七个月翻倍

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2025-03-19 · 最近 2026-05-05
9不同的人
7活跃月份
10讨论串
—被引(OpenAlex)

论文提出“50% 任务完成时间跨度”指标,即 AI 能以 50% 成功率完成的任务所对应的人类耗时,并在 RE-Bench、HCAST 和 66 个新短任务上为人类专家计时。结果显示 Claude 3.7 Sonnet 的时间跨度约 50 分钟,自 2019 年以来大致每七个月翻倍,增长主要来自可靠性、纠错、逻辑推理和工具使用的提升。作者也讨论了结果的外部效度等局限。

HN 为什么提它

评论者把它当作“AI 能力呈指数增长、时间跨度约每七个月翻倍”的引用来源,也有人批评相关博客式宣传淡化了论文里的局限。

实证研究难度 2 / 5约 45 分钟有时效性
读之前最好知道
1大语言模型基础
2基准测试(benchmark)
3指数增长与对数坐标
4AI 智能体(agent)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评namaria · 2025-04

“As usual with these bombastic blog posts, you have to follow the paper trail to find the caveats that deflate the whole thing.”

Forecaster reacts: METR's bombshell paper about AI acceleration原评论 ↗
引用falcor84 · 2025-05

“As the report models, this time horizon doubles approximately every 7 months (R² = 0.98 on a log-scale)”

引用报告模型:任务时间跨度约每 7 个月翻一番
A conversation about AI for science with Jason Pruet原评论 ↗
引用ben_w · 2025-10

“the METR study showed the rate of change is t doubles every 7 months”

引用 METR 研究,称变化速率是每 7 个月翻倍
Beliefs that are true for regular software but false when applied to AI原评论 ↗
引用JohnLocke4 · 2026-04

“Competence is increasing exponentially[1]”

拿论文数据说明 AI 能力呈指数增长
Introducing GPT-5.5原评论 ↗
引用ben_w · 2026-05

“Mostly it wasn't estimated, but rather measured:”

纠正说人类基线时长大多不是估计而是实测
Ask HN: Why would we care about "extended time horizons" and LLMs?原评论 ↗
被提交为 story · 5 次