推荐hapanin · 2023-12
“One of many ways to extend context, and a useful dataset”
推荐它作为扩展上下文的众多方法之一,并称其数据集也有用
用移位稀疏注意力加改进 LoRA 低成本扩展上下文
训练长上下文的算力成本很高,LongLoRA 从两方面降低扩展上下文的开销:微调时用移位稀疏注意力(shifted sparse attention)代替全局稠密注意力,推理时仍可用稠密注意力;同时发现 LoRA 在可训练 embedding 与归一化层的前提下适用于上下文扩展。在 Llama2 7B 到 70B 上,它能把 7B 从 4k 扩展到 100k、70B 扩展到 32k,并发布了长指令数据集 LongAlpaca。
HN 评论者把它列为众多扩展上下文长度的方法之一,并提到其附带的数据集有用。
“One of many ways to extend context, and a useful dataset”
“LongLoRA - LongLoRA”