按年被提到
20212023 · 13 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2106.09685 · cs.CL

LoRA: Low-Rank Adaptation of Large Language Models

LoRA:大语言模型的低秩适配
Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen · 2021

冻结预训练权重,只训练低秩矩阵来微调大模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 18 人首次 2023-03-16 · 最近 2026-10-15
18不同的人
11活跃月份
16讨论串
6,825被引(OpenAlex)

随着预训练模型变大,重新训练全部参数的全量微调越来越不可行。LoRA 冻结预训练权重,并在 Transformer 的每一层注入可训练的秩分解矩阵,大幅减少下游任务的可训练参数。相比用 Adam 微调的 GPT-3 175B,LoRA 可把可训练参数减少 10,000 倍、GPU 显存需求减少 3 倍,在 RoBERTa、DeBERTa、GPT-2 和 GPT-3 上的模型质量与全量微调相当或更好,训练吞吐更高,且不像 adapter 那样增加推理延迟。

HN 为什么提它

HN 上的人把它当作让个人在消费级 GPU 上微调大模型成为可能的关键方法,常引用它解释低秩更新如何合并回基础权重,并强调其效果可与全量微调持平。

方法难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构
2预训练与微调(fine-tuning)
3矩阵的秩与低秩分解
4参数高效微调(如 adapter、prefix tuning)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立 Transformer 结构和预训练-微调范式,再看 GPT-3 带来的全量微调成本问题,最后读 LoRA 如何只训练低秩矩阵。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    LoRA 要注入低秩矩阵的正是 Transformer 里的注意力投影矩阵。

    读多头自注意力里 Q、K、V、输出投影的权重矩阵;LoRA 主要改这些矩阵,其余可略读。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    BERT 确立预训练后全参数微调的范式,LoRA 要解决的正是这种范式的成本。

    读预训练加下游微调的流程:每个任务都要保存一份完整模型副本;实验细节可跳过。

  3. 3
    RoBERTa: A Robustly Optimized BERT Pretraining ApproachRoBERTa:稳健优化的 BERT 预训练方法 · 2019

    LoRA 的实验以 RoBERTa 为基座之一,和全量微调做对比。

    读RoBERTa 在 GLUE 上的训练配置,便于读懂 LoRA 实验表里的全量微调基线。

  4. 4
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    1750 亿参数的 GPT-3 让每个任务一份微调副本变得不可行,这是 LoRA 的动机。

    读模型规模与参数量部分,以及少样本提示作为不微调的替代方案;LoRA 实验也在 GPT-3 175B 上做。

  5. 5
    LoRA: Low-Rank Adaptation of Large Language ModelsLoRA:大语言模型的低秩适配 · 2021 · 就是这篇

    目标论文:冻结预训练权重,只训练低秩分解矩阵。

    读第 4 节的低秩更新 ΔW = BA 与初始化、可合并回原权重所以无推理延迟;再看秩 r 的实验分析。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nl · 2023-03

“truly revolutionary: It basically lets you create a very small”

推荐,称 LoRA 真正革命性,用很小的差异就能微调模型
How to use Alpaca-LoRA to fine-tune a model like ChatGPT原评论 ↗
推荐batch12 · 2023-04

“and read up on LoRA That should get you started.”

推荐先读 LoRA,作为入门起点
Launch Lamini: The LLM Engine for Rapidly Customizing Models as Good as ChatGPT原评论 ↗
推荐krisoft · 2023-12

“For detailed explanation I recommend the paper.”

推荐读这篇论文了解详细解释
OpenAI employee: GPT-4.5 rumor was a hallucination原评论 ↗
推荐khalic · 2025-06

“You should look into LoRA”

推荐研究 LoRA
Self-Adapting Language Models原评论 ↗
引用GaggiX · 2023-03

“Be aware that LoRA performs on-par or better than fine-tuning in model quality if trained correctly as the paper shows: LoRA”

引用论文说明 LoRA 训练得当时质量不输微调
Show HN: Alpaca.cpp – Run an Instruction-Tuned Chat-Style LLM on a MacBook原评论 ↗
引用benob · 2023-03

“LoRA, Low-rank Adaptation of LLMs, consists in adapting the weights of a big neural network to a target task”

解释 LoRA 通过低秩权重矩阵让大模型适配目标任务
Show HN: Alpaca.cpp – Run an Instruction-Tuned Chat-Style LLM on a MacBook原评论 ↗
看全部 18 条 →
引用angch · 2023-03

“the recent references to LoRA stands for Low-Rank Adaptation [1], not Low-Resource Adapters[2]”

澄清 LoRA 指 Low-Rank Adaptation,而非 Low-Resource Adapters
Show HN: Alpaca.cpp – Run an Instruction-Tuned Chat-Style LLM on a MacBook原评论 ↗
引用eternalban · 2023-03

“They address prompt tuning's issues in the paper:”

指出论文批评了 prompt tuning 的问题:优化困难、占用序列长度
LoRA: Low-Rank Adaptation of Large Language Models原评论 ↗
引用return_to_monke · 2023-03

“See the abstract of LoRA”

引用摘要:LoRA 微调模型权重,减小体积和计算量
Alpaca-LoRA with Docker原评论 ↗
引用eternalban · 2023-03

“The hit seems to be in energy/cpu not time since the W0 computation is in parallel with the BAx. (My assumption based on the latency claims in paper.)”

据论文的延迟说法推断,代价主要在能耗和 CPU 而非时间
LoRA: Low-Rank Adaptation of Large Language Models原评论 ↗
引用GaggiX · 2023-03

“The LoRA paper clearly states the performance of the method”

指出论文清楚说明了该方法的性能
LoRA: Low-Rank Adaptation of Large Language Models原评论 ↗
引用jiggawatts · 2023-05

“Open-source LLM projects have largely solved this using Low-Rank Adaptation of Large Language Models (LoRA): LoRA”

指出开源 LLM 项目靠 LoRA 解决了消费级 GPU 微调问题
Anthropic - Introducing 100K Token Context Windows, Around 75,000 Words原评论 ↗
引用hnfong · 2023-09

“Somewhat yes. See "LoRA": LoRA”

用 LoRA 回答,说明适配层可让模型共享同一个基座
Run LLMs at home, BitTorrent‑style原评论 ↗
引用thijson · 2024-04

“This seems to be an order of magnitude better than LoRa ([LINK] not LoRA).”

这里的 LoRa 指无线电技术,与这篇论文无关
DECT NR+: A technical dive into non-cellular 5G原评论 ↗
引用magicalhippo · 2024-06

“The idea from LoRA[1] is to take pre-trained, dense weights W_0 for a model and adapt them to new training data by using the weights W = W_0 + BA for inference.”

解释 LoRA:推理时用 W = W_0 + BA,对冻结权重做低秩更新
Lamini Memory Tuning: 10x Fewer Hallucinations原评论 ↗
引用kelseyfrog · 2024-11

“The LoRA paper[1] specifically says that all of the pretrained weights remain frozen.”

指出论文明确说所有预训练权重保持冻结
LoRA vs. Full Fine-Tuning: An Illusion of Equivalence原评论 ↗
引用kouteiheika · 2025-06

“the equation for the forward pass from the original paper[1]:”

引用论文的前向公式,说明低秩更新加在冻结权重上
Fine-tuning LLMs is a waste of time原评论 ↗
引用supriyo-biswas · 2026-08

“once the industry matures a bit we'll go back to things like LoRA[1] and control vectors[2][3].”

预计行业成熟后会回到 LoRA 和 control vectors 这类做法
Claude: System Prompts原评论 ↗
被提交为 story · 2 次