按年被提到
20242024 · 3 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2405.04517 · cs.LG

xLSTM: Extended Long Short-Term Memory

xLSTM:扩展的长短期记忆网络
Maximilian Beck, Korbinian Pöppel, Markus Spanring, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter, Sepp Hochreiter · 2024

给 LSTM 加指数门控与矩阵记忆,规模化后可比肩 Transformer

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2024-05-08 · 最近 2025-02-15
5不同的人
4活跃月份
4讨论串
437被引(OpenAlex)

探讨把 LSTM 扩展到数十亿参数、结合现代 LLM 技术并缓解其已知局限能走多远。做法是引入带归一化与稳定化的指数门控,并改造记忆结构:sLSTM(标量记忆、标量更新、新的记忆混合)和可完全并行的 mLSTM(矩阵记忆与协方差更新规则),再把它们放进残差块堆叠成 xLSTM。在性能与规模扩展上与最先进的 Transformer 和状态空间模型相比表现良好。

HN 为什么提它

HN 上的人把它视为 Transformer 的可能替代,在超长上下文(如 DNA 模型)表现好、解决了状态跟踪难题,但也有人认为其质量/参数比并未明显超过 Transformer。

方法难度 4 / 5约 70 分钟经得起时间
读之前最好知道
1LSTM 与门控循环网络
2Transformer 与自注意力
3状态空间模型(state space models)
4线性注意力与并行化训练
5语言模型困惑度评测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nextos · 2025-02

“The xLSTM could become a good alternative to transformers: xLSTM. On very long contexts, such as those arising in DNA models, these models perform really well.”

推荐 xLSTM 作为 Transformer 的好替代,在 DNA 模型这类超长上下文中表现很好
Ask HN: Is anybody building an alternative transformer?原评论 ↗
引用oersted · 2024-06

“It does seem to match transformers, but I wouldn't say it meaningfully outperforms them in terms of quality vs parameters.”

认为 xLSTM 确实能与 Transformer 持平,但在质量与参数量之比上谈不上明显胜出
xLSTM code release by NX-AI原评论 ↗
引用logicchains · 2024-10

“which demonstrates a significant improvement on the kind of state-tracking problems that transformers struggle with.”

指出 xLSTM 在 Transformer 难以应对的状态追踪问题上有显著改进
Were RNNs all we needed?原评论 ↗
引用korbip · 2025-02

“[10] xLSTM”

把 xLSTM 论文列入线性 RNN 之列
Ask HN: Is anybody building an alternative transformer?原评论 ↗
被提交为 story · 1 次