按年被提到
20232023 · 4 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2309.12307 · cs.CL

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models

LongLoRA:长上下文大语言模型的高效微调
Yukang Chen, Shengju Qian, Haotian Tang, Xin Lai, Zhijian Liu, Song Han, Jiaya Jia · 2023

用移位稀疏注意力加改进 LoRA 低成本扩展上下文

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2023-09-23 · 最近 2023-12-15
4不同的人
3活跃月份
4讨论串
176被引(OpenAlex)

训练长上下文的算力成本很高,LongLoRA 从两方面降低扩展上下文的开销:微调时用移位稀疏注意力(shifted sparse attention)代替全局稠密注意力,推理时仍可用稠密注意力;同时发现 LoRA 在可训练 embedding 与归一化层的前提下适用于上下文扩展。在 Llama2 7B 到 70B 上,它能把 7B 从 4k 扩展到 100k、70B 扩展到 32k,并发布了长指令数据集 LongAlpaca。

HN 为什么提它

HN 评论者把它列为众多扩展上下文长度的方法之一,并提到其附带的数据集有用。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1Transformer 自注意力及其平方复杂度
2LoRA 参数高效微调
3位置编码与上下文窗口
4大语言模型微调

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐hapanin · 2023-12

“One of many ways to extend context, and a useful dataset”

推荐它作为扩展上下文的众多方法之一,并称其数据集也有用
Ask HN: AI/ML papers to catch up with current state of AI?原评论 ↗
引用filterfiber · 2023-11

“LongLoRA - LongLoRA”

贴出 LongLoRA,用于高效微调以扩展长上下文
Is anyone using self hosted LLM day to day and training it like a new employee原评论 ↗
被提交为 story · 2 次