引用yorwba · 2025-08
“where they compress the context down to a smaller representation they call a”
提到它把上下文压缩成更小的表示
离线为语料训练小型 KV 缓存,替代把全文塞进上下文
论文提出为每个语料离线训练一个更小的 KV 缓存(称为 Cartridge),推理时直接加载,以避免把整个语料放进上下文带来的高内存开销。对语料做 next-token 预测的朴素训练效果不及上下文学习,因此作者提出 self-study:生成关于语料的合成对话,并用上下文蒸馏目标训练。结果上,Cartridge 在长上下文基准上与上下文学习相当,内存占用减少 38.6 倍、吞吐提高 26.4 倍,还能扩展有效上下文长度,并且可在推理时组合。
评论者把它当作把长上下文压缩成小而可复用表示的思路来引用,并认为遗忘问题或许能用这类架构手段解决。
“where they compress the context down to a smaller representation they call a”
“And forgetting might be solvable architecturally, e.g. with Cartridges or something of that nature.”