引用evil-olive · 2025-07
“from the recent CMU study [0] of how actual LLMs perform on real-world tasks like this:”
引用 CMU 这项研究,说明 LLM 智能体在真实工作任务上表现不佳
模拟小型软件公司的基准:最强智能体仅自主完成 30% 任务
论文提出可扩展基准 TheAgentCompany,用来评测像数字员工一样工作的 AI 智能体:浏览网页、写代码、运行程序、与同事沟通。作者搭建了带内部网站和数据、模拟小型软件公司的独立环境,设计了多种任务,用闭源 API 和开源权重模型做基线,结果最强的智能体能自主完成 30% 的任务:较简单的任务可以自主解决,更难的长程任务仍超出当前系统的能力。
评论者把它当作 CMU 的研究,用来说明 LLM 智能体在贴近真实工作的任务上表现仍然吃力。
“from the recent CMU study [0] of how actual LLMs perform on real-world tasks like this:”