按年被提到
20232023 · 9 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2305.14314 · cs.LG

QLoRA: Efficient Finetuning of Quantized LLMs

QLoRA:量化大语言模型的高效微调
Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, Luke Zettlemoyer · 2023

4 比特量化加 LoRA,单张 48GB 显卡微调 65B 模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2023-05-24 · 最近 2024-10-22
8不同的人
6活跃月份
9讨论串
2,577被引(OpenAlex)

QLoRA 让梯度反向传播穿过冻结的 4 比特量化预训练模型,只训练低秩适配器(LoRA),从而在单张 48GB GPU 上微调 65B 参数模型,同时保持 16 比特全量微调的任务表现。它引入了 4 比特 NormalFloat(NF4)数据类型、对量化常数再量化的双重量化,以及分页优化器来应对显存峰值。作者用它微调了 1000 多个模型,并训练出 Guanaco 模型系列,同时分析了聊天机器人评测的可靠性。

HN 为什么提它

HN 上的人把它当作在消费级显卡上微调大模型的标准来源,常引用其 Guanaco 结果和 LoRA 作用于哪些层的对比。

方法难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构
2LoRA 低秩适配
3神经网络量化(quantization)
4指令微调(instruction tuning)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐londons_explore · 2023-05

“Table 1 in your link is a good way to compare models.”

指出论文里的表 1 是比较各模型的好办法
Ask HN: What's the best self hosted/local alternative to GPT-4?原评论 ↗
推荐danielhanchen · 2024-10

“also the original QLoRA paper from Dettmers QLoRA has so many more important morsels.”

推荐读 QLoRA 原论文,比那份指南有更多重要细节
Guide to Fine-Tuning LLMs原评论 ↗
引用kamranjon · 2023-05

“I'd be really curious what the authors of the recent (3 days ago) paper on QLora would think of this article?”

想知道 QLoRA 作者怎么看这篇文章,并提到其 Guanaco 在 Vicuna 基准上达到 ChatGPT 的 99.3%
The False Promise of Imitating Proprietary LLMs原评论 ↗
引用jonathan-adly · 2023-05

“But, this paper[0] released a week ago claims " 99.3% of the performance level of ChatGPT while only requiring 24 hours of finetuning on a single GPU" (QLORA).”

引用 QLoRA 声称达到 ChatGPT 99.3% 水平的说法
Ask HN: What's the best self hosted/local alternative to GPT-4?原评论 ↗
引用MacsHeadroom · 2023-05

“A QLoRA finetune of LLaMA-65B by Tim Dettmers from the paper here: QLoRA”

指出 Guanaco-65B 是 Tim Dettmers 用 QLoRA 微调 LLaMA-65B 得到的
Ask HN: What's the best self hosted/local alternative to GPT-4?原评论 ↗
引用anon373839 · 2023-06

“4. QLoRA: Efficient Finetuning of Quantized LLMs [showing that LLMs can now be fine-tuned quickly on consumer-grade GPUs]”

列为例子:LLM 现在能在消费级 GPU 上快速微调
Falcon 40B LLM (which beats Llama) now Apache 2.0原评论 ↗
看全部 9 条 →
引用justusmattern · 2023-11

“[Research has shown] that low-rank fine-tuning performance stays almost on-par with full fine-tuning.”

引作证据:低秩微调的表现几乎与全量微调持平
Show HN: Haven (YC S23) – Quickly iterate when fine-tuning open-source LLMs原评论 ↗
引用danielhanchen · 2023-12

“I know QLoRA's paper QLoRA has an approximate calculation of the weights size, but not the gradient updates”

提到论文只粗略估算了权重大小,没有估算梯度更新
80% faster, 50% less memory, 0% loss of accuracy Llama finetuning原评论 ↗
引用danielhanchen · 2024-05

“I think the QLoRA paper QLoRA paper also showed LoRA on all MLP + Attention layers > all MLP layers > just Attention layers.”

回忆该论文显示 LoRA 作用于全部 MLP 加 Attention 层效果最好
LoRA Learns Less and Forgets Less原评论 ↗
被提交为 story · 2 次