按年被提到
20242025 · 6 次2026
软件工程与 AI 编程›编程智能体与 AI 开发·arXiv:2412.14161 · cs.CL

TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks

TheAgentCompany:在有实际后果的真实工作任务上评测 LLM 智能体
Frank F. Xu, Yufan Song, Boxuan Li, Yuxuan Tang, Kritanjali Jain, Mengxue Bao, Zora Z. Wang, Xuhui Zhou, Zhitong Guo, Murong Cao, Mingyang Yang, Hao Yang Lu 等 21 人 · 2024

模拟小型软件公司的基准:最强智能体仅自主完成 30% 任务

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2025-01-06 · 最近 2025-08-12
6不同的人
4活跃月份
6讨论串
70被引(OpenAlex)

论文提出可扩展基准 TheAgentCompany,用来评测像数字员工一样工作的 AI 智能体:浏览网页、写代码、运行程序、与同事沟通。作者搭建了带内部网站和数据、模拟小型软件公司的独立环境,设计了多种任务,用闭源 API 和开源权重模型做基线,结果最强的智能体能自主完成 30% 的任务:较简单的任务可以自主解决,更难的长程任务仍超出当前系统的能力。

HN 为什么提它

评论者把它当作 CMU 的研究,用来说明 LLM 智能体在贴近真实工作的任务上表现仍然吃力。

实证研究难度 2 / 5约 45 分钟有时效性
读之前最好知道
1LLM 智能体(agent)
2基准评测设计
3网页浏览与代码执行工具
4开源与闭源语言模型

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用evil-olive · 2025-07

“from the recent CMU study [0] of how actual LLMs perform on real-world tasks like this:”

引用 CMU 这项研究,说明 LLM 智能体在真实工作任务上表现不佳
Amazon CEO says AI agents will soon reduce company's corporate workforce原评论 ↗
被提交为 story · 5 次