推荐blackbear_ · 2026-06
“I also enjoyed the papers for DeepSeek and GLM for an overview of all the tricks you need to make these things work”
推荐 DeepSeek 和 GLM 的论文,了解让这些模型跑起来的各种技巧
稀疏注意力、规模化强化学习与智能体合成数据的开放模型
论文介绍 DeepSeek-V3.2,主要有三点:提出 DeepSeek Sparse Attention(DSA),在长上下文下大幅降低注意力计算复杂度而性能不降;通过稳健的强化学习协议并扩大后训练算力,使模型与 GPT-5 相当,高算力变体 Speciale 据称超过 GPT-5,并在 2025 年 IMO 和 IOI 取得金牌水平;以及一条大规模智能体任务合成流水线,用于把推理融入工具使用场景并提升复杂交互环境中的泛化与指令遵循鲁棒性。
评论者把它与 GLM 的论文一起当作了解前沿 LLM 各种必要技巧的概览,也围绕 DSA 里 lightning indexer 使整体复杂度仍为 O(N^2) 展开讨论。
“I also enjoyed the papers for DeepSeek and GLM for an overview of all the tricks you need to make these things work”
“It really isn't sub N^2. The main attention is only O(Nk), but only thanks to a lightning indexer that still has complexity O(N^2).”
“Introduced 1.5 years ago”