批评epups · 2023-09
“They then decide to change the test to a much harder and more convoluted version, where (surprise!) performance drops down once again [2].”
实测 LLM 自主规划成功率仅约 12%,配外部验证器才有起色
作者在类似国际规划竞赛的领域里生成测试实例,评估 LLM 的两种使用方式:自主生成计划,以及作为启发式在 LLM-Modulo 设置下辅助外部规划器和验证器。结果是自主生成可执行计划的能力相当有限,最好的 GPT-4 在各领域平均成功率约 12%;在 LLM-Modulo 设置下则更有希望,LLM 的计划能改善规划器的搜索,验证器反馈也能促使 LLM 改进计划。
评论者用它支持「LLM 因自回归本质而不会规划」的说法;也有人批评作者在结果不理想后改用更难、更绕的测试,使成绩再度下降。
“They then decide to change the test to a much harder and more convoluted version, where (surprise!) performance drops down once again [2].”
“The gist is that LLMs are incapable of planning, which is due to their autoregressive nature.”