按年被提到
20252025 · 3 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2506.06266 · cs.CL

Cartridges: Lightweight and general-purpose long context representations via self-study

Cartridges:通过自我学习获得轻量、通用的长上下文表示
Sabri Eyuboglu, Ryan Ehrlich, Simran Arora, Neel Guha, Dylan Zinsley, Emily Liu, Will Tennien, Atri Rudra, James Zou, Azalia Mirhoseini, Christopher Re · 2025

离线为语料训练小型 KV 缓存,替代把全文塞进上下文

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-06-26 · 最近 2025-10-21
3不同的人
3活跃月份
3讨论串
3被引(OpenAlex)

论文提出为每个语料离线训练一个更小的 KV 缓存(称为 Cartridge),推理时直接加载,以避免把整个语料放进上下文带来的高内存开销。对语料做 next-token 预测的朴素训练效果不及上下文学习,因此作者提出 self-study:生成关于语料的合成对话,并用上下文蒸馏目标训练。结果上,Cartridge 在长上下文基准上与上下文学习相当,内存占用减少 38.6 倍、吞吐提高 26.4 倍,还能扩展有效上下文长度,并且可在推理时组合。

HN 为什么提它

评论者把它当作把长上下文压缩成小而可复用表示的思路来引用,并认为遗忘问题或许能用这类架构手段解决。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 与 KV 缓存
2上下文学习(in-context learning)
3上下文蒸馏(context distillation)
4合成数据生成
5长上下文推理的内存开销

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用yorwba · 2025-08

“where they compress the context down to a smaller representation they call a”

提到它把上下文压缩成更小的表示
Gemini Embedding: Powering RAG and context engineering原评论 ↗
引用jxmorris12 · 2025-10

“And forgetting might be solvable architecturally, e.g. with Cartridges or something of that nature.”

认为遗忘问题或许能从架构上解决,举 Cartridges 为例
The Continual Learning Problem原评论 ↗
被提交为 story · 1 次