按年被提到
20232023 · 10 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2312.11514 · cs.CL

LLM in a flash: Efficient Large Language Model Inference with Limited Memory

LLM in a flash:在有限内存下高效运行大语言模型
Keivan Alizadeh, Iman Mirzadeh, Dmitry Belenko, Karen Khatamifard, Minsik Cho, Carlo C Del Mundo, Mohammad Rastegari, Mehrdad Farajtabar · 2023

把模型参数放闪存、按需载入 DRAM,让大模型跑在小内存设备上

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 16 人首次 2023-12-20 · 最近 2026-08-25发表于 Proceedings of the conference - Association for Computational Linguistics. Meeting
16不同的人
6活跃月份
16讨论串
115被引(OpenAlex)

针对模型大于 DRAM 的情形,把参数存在闪存里按需调入内存。作者先建立考虑闪存特性的推理成本模型,再提出两项技术:利用已激活神经元的 windowing 以减少数据传输,以及 row-column bundling 以增大顺序读取块。这使得可运行的模型最大达到可用 DRAM 的两倍,推理速度相比朴素加载在 CPU 和 GPU 上分别提升 4–5 倍和 20–25 倍。

HN 为什么提它

HN 上的人把它当作苹果在端侧运行大模型的代表研究,用来解释为什么快速 SSD 对本地跑大模型很重要。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 与 LLM 推理流程
2存储层级(DRAM 与闪存)
3激活稀疏性(activation sparsity)
4内存带宽与 I/O 吞吐

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐dwd · 2023-12

“The paper is worth a read in full as what they are doing is pretty cool:”

推荐通读这篇论文,它用闪存加载技巧运行超出 DRAM 的 LLM,做法很酷
Apple Announces LLM in a Flash: Efficient LLM Inference with Limited Memory原评论 ↗
推荐eddieplan9 · 2026-08

“Apple’s “LLM in a flash” paper [1] sheds some light on why this can be a big deal”

引用苹果这篇论文,说明在内存有限时快速 SSD 存储为何重要
New Mac Studio with M5 Max and M5 Ultra原评论 ↗
引用amitprasad · 2023-12

“Also relevant: LLM in a flash: Efficient Large Language Model Inference with Limited Memory”

补充相关资料:苹果运行超出设备内存的 LLM 的方法
Ferret: A Multimodal Large Language Model原评论 ↗
引用sharma-arjun · 2024-05

“This indeed seems to have been a heavy focus of their research team in the past year”

以它为例,说明苹果研究团队过去一年在有限内存运行 LLM 上用力很深
Apple Closes in on Deal with OpenAI to Put ChatGPT on iPhone原评论 ↗
引用simonw · 2026-03

“It's apparently using ideas from: LLM in a flash”

指出这里用到的闪存思路似乎来自这篇论文
Qwen3.5-397B at 4.74 tok/s using 5.9GB RAM原评论 ↗
被提交为 story · 11 次