引用danpalmer · 2025-12
“This is going to be the big thing to overcome, and without actually measuring it all we're doing is AI astrology.”
认为这是要克服的大问题,不实际度量就只是“AI 占星术”
多智能体协作的收益取决于任务结构,并非越多越好
论文在 6 个智能体基准、5 种架构(单智能体与四种多智能体)和 3 个 LLM 家族共 260 个配置上做受控评估,建立预测智能体系统性能的量化模型,交叉验证 R^2 为 0.373。发现单智能体基线较强后协调收益递减,工具密集型任务会带来多智能体开销,缺乏集中验证的架构更容易传播错误;相对单智能体的变化从可分解金融推理的 +80.8% 到顺序规划的 -70.0%,说明架构与任务结构是否匹配决定成败。
HN 上的人引用它强调多智能体系统要有实际测量,否则只是凭感觉的玄学。
“This is going to be the big thing to overcome, and without actually measuring it all we're doing is AI astrology.”