引用throwaway4aday · 2023-03
“I can't wait to see what happens when state space models are developed further[0].”
期待状态空间模型进一步发展,用于语言建模,支持更长提示和输出
提出 H3 层与 FlashConv,让状态空间模型逼近 Transformer
论文先用合成语言建模任务分析状态空间模型(SSM)与注意力的能力差距,发现现有 SSM 难以回忆更早的 token 和跨序列比较 token。为此提出 H3 层,在 OpenWebText 上与 Transformer 只差 0.4 PPL,而保留两层注意力的 125M 混合模型反而领先 1.0 PPL。同时提出 FlashConv(融合块 FFT 与状态传递算法),在 Long Range Arena 上提速 2 倍,使混合模型生成文本比 Transformer 快 2.4 倍,并扩展到 2.7B 参数。
评论者把它当作状态空间模型用于语言建模的早期论文,在讨论 SSM 的潜力和它们已流行多年时引用。
“I can't wait to see what happens when state space models are developed further[0].”
“LLM/state space models have been popular for some years now, see: Hungry Hungry Hippos”