引用sanxiyn · 2024-08
“DeepMind had a detailed look, see Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters.”
指出 DeepMind 对测试时计算扩展有过详细研究
按题目难度自适应分配推理算力,某些问题上小模型可胜过 14 倍大模型。
论文研究 LLM 推理时计算的扩展:给定固定且不小的推理算力,模型在难题上能提升多少。作者分析两种扩展方式:用稠密的、基于过程的验证器奖励模型做搜索,以及根据提示在测试时自适应地更新模型的回答分布。结果显示各方法的有效性随提示难度显著变化,因此提出按提示自适应分配算力的“计算最优”策略,其测试时算力扩展效率比 best-of-N 基线高出 4 倍以上;在 FLOPs 匹配的比较中,对小基础模型有一定成功率的问题,测试时算力可超过 14 倍大的模型。
评论者把它当作测试时(推理时)算力扩展的代表性研究引用,用来说明更多推理算力可以补偿模型规模,并讨论其中验证器的训练方式。
“DeepMind had a detailed look, see Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters.”
“Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters”
“already been a lot of inference time compute papers recently [1,2]”
“In the original paper they fine-tune a fresh verifier.”