按年被提到
20232023 · 5 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2305.15771 · cs.AI

On the Planning Abilities of Large Language Models : A Critical Investigation

论大语言模型的规划能力:一项批判性考察
Karthik Valmeekam, Matthew Marquez, Sarath Sreedharan, Subbarao Kambhampati · 2023

实测 LLM 自主规划成功率仅约 12%,配外部验证器才有起色

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2023-05-28 · 最近 2024-03-17
6不同的人
6活跃月份
6讨论串
118被引(OpenAlex)

作者在类似国际规划竞赛的领域里生成测试实例,评估 LLM 的两种使用方式:自主生成计划,以及作为启发式在 LLM-Modulo 设置下辅助外部规划器和验证器。结果是自主生成可执行计划的能力相当有限,最好的 GPT-4 在各领域平均成功率约 12%;在 LLM-Modulo 设置下则更有希望,LLM 的计划能改善规划器的搜索,验证器反馈也能促使 LLM 改进计划。

HN 为什么提它

评论者用它支持「LLM 因自回归本质而不会规划」的说法;也有人批评作者在结果不理想后改用更难、更绕的测试,使成绩再度下降。

实证研究难度 3 / 5约 35 分钟有时效性
读之前最好知道
1自动规划(automated planning)与 PDDL
2国际规划竞赛类领域
3LLM 提示与评测
4LLM-Modulo 框架

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评epups · 2023-09

“They then decide to change the test to a much harder and more convoluted version, where (surprise!) performance drops down once again [2].”

Can LLMs Reason and Plan?原评论 ↗
引用Xeophon · 2023-07

“The gist is that LLMs are incapable of planning, which is due to their autoregressive nature.”

转述其要点:LLM 无法做规划,原因在于自回归的本质
What is RT-2? Google DeepMind’s vision-language-action model for robotics原评论 ↗
被提交为 story · 4 次