引用101101001010 · 2020-07
“Linformer is a different project from the one linked in [LINK]”
澄清 Linformer 是另一个项目,并提到其加速只在超过 1024 个 token 时出现
用低秩近似把自注意力复杂度从 O(n²) 降到 O(n)
标准自注意力在序列长度上需要 O(n²) 的时间和空间,使长序列训练与部署代价高昂。论文证明自注意力可以用低秩矩阵近似,并据此提出新的自注意力机制,把时间和空间复杂度都降到 O(n)。得到的线性 Transformer,即 Linformer,性能与标准 Transformer 相当,而显存和时间更省。
HN 评论者提到它作为线性复杂度自注意力的高效 Transformer 代表,并指出其加速只在序列超过约 1024 个 token 之后才显现。
先理解标准自注意力及其二次复杂度,再看其他高效注意力方案,最后读 Linformer 的低秩近似。
Linformer 的预训练与下游评测以 BERT 类模型为基础。
读掩码语言模型预训练与微调流程。
Reformer 用哈希注意力降复杂度,是 Linformer 对比的高效 Transformer 之一。
读LSH 注意力的复杂度,以及它与低秩近似的不同。
RoBERTa 的预训练配置是衡量 Linformer 预训练效果的常用基线。
读预训练超参数与数据设置,作为对照基线。
目标论文:证明自注意力矩阵近似低秩,并据此做线性复杂度注意力。
读低秩性的谱分析,以及对 key 与 value 做线性投影降维的做法。
“Linformer is a different project from the one linked in [LINK]”
“or [4] [5] [6] for efficiency.”