引用kordlessagain · 2023-06
“Here's a similar paper I ran across this morning: ReWOO.”
贴出一篇相似的论文,讲把推理与工具观察解耦
先规划再调用工具,省下增强型 LLM 的大量 token
增强型语言模型(ALM)让 LLM 借助工具检索知识、执行动作,但现有做法让推理与工具观察交错进行,会因重复提示和重复执行造成巨大的计算开销。论文提出模块化范式 ReWOO(Reasoning WithOut Observation),将推理过程与外部观察分离,从而显著减少 token 消耗;在 HotpotQA 上 token 效率提升 5 倍、准确率提升 4%,且在工具失败时仍稳健。解耦还使指令微调可把推理能力从 175B 的 GPT-3.5 迁移到 7B 的 LLaMA。
评论者把它当作类似的相关工作,以及“规划模型把其他模型当作工具来调用”的例子。
“Here's a similar paper I ran across this morning: ReWOO.”
“(see e.g. the ReWOO paper[0])”