按年被提到
20242024 · 5 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2402.14905 · cs.LG

MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases

MobileLLM:面向端侧场景优化十亿参数以下的语言模型
Zechun Liu, Changsheng Zhao, Forrest Iandola, Chen Lai, Yuandong Tian, Igor Fedorov, Yunyang Xiong, Ernie Chang, Yangyang Shi, Raghuraman Krishnamoorthi, Liangzhen Lai, Vikas Chandra · 2024

深而窄的架构加权重共享,造出更强的亚十亿参数端侧模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2024-03-01 · 最近 2024-10-08
5不同的人
3活跃月份
5讨论串
61被引(OpenAlex)

论文针对手机等端侧场景,研究参数少于十亿的语言模型,指出在这一规模上模型架构比数据和参数量更关键。采用深而窄的结构、嵌入共享和分组查询注意力,得到的 MobileLLM 比此前 125M/350M 的最优模型准确率分别高 2.7%/4.3%;再加块级权重共享的 MobileLLM-LS 又提高 0.7%/0.8%。该系列在聊天基准上明显优于以往亚十亿模型,在 API 调用任务上接近 LLaMA-v2 7B。

HN 为什么提它

摘录只提到一点:HN 评论者说论文试过知识蒸馏,训练慢了约 2.6 到 3.2 倍,而准确率相当或更差,借此说明小模型训练的取舍。

方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1Transformer 架构
2分组查询注意力(grouped-query attention)
3知识蒸馏与模型压缩
4端侧部署的内存与延迟约束

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用imurray · 2024-07

“The paper says they tried that”

指出论文试过知识蒸馏:训练变慢 2.6 到 3.2 倍,准确率相当或更差
MobileLLM: Optimizing Sub-Billion Parameter Language Models for On-Device Use原评论 ↗
被提交为 story · 4 次