按年被提到
20242024 · 3 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2409.13373 · cs.AI

LLMs Still Can't Plan; Can LRMs? A Preliminary Evaluation of OpenAI's o1 on PlanBench

LLM 仍然不会规划;LRM 呢?OpenAI o1 在 PlanBench 上的初步评估
Karthik Valmeekam, Kaya Stechly, Subbarao Kambhampati · 2024

用 PlanBench 评测 o1:规划能力大幅提升,但远未饱和

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-09-23 · 最近 2025-01-01
4不同的人
3活跃月份
4讨论串
37被引(OpenAlex)

论文用作者在 2022 年提出的可扩展规划基准 PlanBench,评估当前 LLM 以及 OpenAI o1 这类“大型推理模型”(LRM)。结果显示 o1 比竞争对手有质的提升,但仍远未让基准饱和;作者还指出这种提升引出了准确性、效率和可保证性等部署前必须考虑的问题。

HN 为什么提它

评论者用它讨论 LLM 能否做规划:o1 明显优于其他模型,但名称随机化后多数模型表现很差,被当作模型靠记忆而非推理的证据。

实证研究难度 3 / 5约 35 分钟有时效性
读之前最好知道
1自动规划(automated planning)与 Blocksworld
2大语言模型(LLM)基础
3推理模型(reasoning model)
4基准测试的设计与评估

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用mrbungie · 2024-09

“o1 did much better in PlanBench that models from other providers indicating better perf in that area [1][2]”

引它说明 o1 在 PlanBench 上明显优于其他厂商模型
Apple No Longer in Talks to Join OpenAI Investment Round原评论 ↗
引用roboboffin · 2024-10

“For example, papers like this call into question whether or not a LLM can plan:”

举这类论文为例,质疑 LLM 是否真能规划
Were RNNs all we needed?原评论 ↗
引用YeGoblynQueenne · 2025-01

“The vast majority of LLMs score pathetically low in this, but much better in non-randomised versions, very clearly demonstrating excellent memorisation skills, but pitiful reasoning ability.”

借它说明随机化后多数 LLM 规划得分极低,显示擅长记忆而推理差
Coconut by Meta AI – Better LLM Reasoning with Chain of Continuous Thought?原评论 ↗
被提交为 story · 1 次