引用imurray · 2024-07
“The paper says they tried that”
指出论文试过知识蒸馏:训练变慢 2.6 到 3.2 倍,准确率相当或更差
深而窄的架构加权重共享,造出更强的亚十亿参数端侧模型
论文针对手机等端侧场景,研究参数少于十亿的语言模型,指出在这一规模上模型架构比数据和参数量更关键。采用深而窄的结构、嵌入共享和分组查询注意力,得到的 MobileLLM 比此前 125M/350M 的最优模型准确率分别高 2.7%/4.3%;再加块级权重共享的 MobileLLM-LS 又提高 0.7%/0.8%。该系列在聊天基准上明显优于以往亚十亿模型,在 API 调用任务上接近 LLaMA-v2 7B。
摘录只提到一点:HN 评论者说论文试过知识蒸馏,训练慢了约 2.6 到 3.2 倍,而准确率相当或更差,借此说明小模型训练的取舍。
“The paper says they tried that”