按年被提到
20252026 · 3 次2026
软件工程与 AI 编程›编程智能体与 AI 开发·arXiv:2512.04123 · cs.CY

Measuring Agents in Production

度量生产环境中的智能体
Melissa Z. Pan, Negar Arabzadeh, Riccardo Cogo, Yuxuan Zhu, Alexander Xiong, Lakshya A Agrawal, Huanzhi Mao, Emma Shen, Sid Pallerla, Liana Patel, Shu Liu, Tianneng Shi 等 25 人 · 2025

访谈加问卷看生产环境中的LLM智能体如何构建与评估

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2025-12-07 · 最近 2026-07-13
5不同的人
3活跃月份
5讨论串
26被引(OpenAlex)

论文首次系统研究生产环境中的 LLM 智能体:对 20 个案例做深度访谈,并调查来自 26 个领域、86 位已部署系统的从业者,涵盖组织为何构建智能体、如何构建、如何评估以及最大的开发挑战。发现生产智能体多采用简单、可控的做法:68% 在需要人工介入前最多执行 10 步,70% 依赖对现成模型做提示而不是微调权重,74% 主要依靠人工评估。可靠性(长期稳定地做对)仍是首要挑战,从业者目前通过系统层面的设计来应对。

HN 为什么提它

摘录里 HN 评论者只是说这篇论文的发现与现实中实际发生的情况吻合,把它当作智能体在生产环境可靠性的实地研究。

实证研究难度 1 / 5约 40 分钟有时效性
读之前最好知道
1LLM 智能体的基本概念
2提示工程与人工评估
3软件系统的可靠性设计

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用schmuhblaster · 2025-12

“in line with what seems to be going on in the real world [1]”

引用它说明所讨论的现象与真实世界的情况相符
The "confident idiot" problem: Why AI needs hard rules, not vibe checks原评论 ↗
被提交为 story · 4 次