引用kgeist · 2024-02
“Here they simply used different models for different turns and apparently it gave more”
指出论文只是每轮对话换用不同模型,据称效果更好
混合几个中等规模聊天模型,效果可比肩更大的单一模型
论文探讨一个问题:多个较小模型协作,能否达到或超过单个大模型的表现。作者提出“混合”(blending)方法,简单地整合多个聊天 AI,实验证据显示,选定的较小模型协同混合后可能匹配甚至超过大得多的模型,例如仅三个中等规模(6B/13B 参数)模型的混合,就能媲美甚至超过 ChatGPT(175B+ 参数)。结论来自在 Chai research 平台上、面向大量用户、历时 30 天的 A/B 测试。
评论者引用它说明在不同回合使用不同模型据称会更吸引用户,并把模型混合列为集成系统的一种做法。
“Here they simply used different models for different turns and apparently it gave more”
“there's all sorts of ensemble systems[4], and approaches using model blending[5]”