推荐shenberg · 2025-11
“I found the implementation to be clever and I'm somewhat surprised it received so little follow-up work”
称赞实现巧妙,并惊讶它几乎没有后续工作,可作为 LLM 的补充
基于后缀数组的万亿 token 级无界 n-gram 语言模型
论文在 5 万亿 token 上构建了迄今最大的 n-gram 语言模型,并提出允许 n 任意大的 ∞-gram 模型(带回退),用后缀数组实现的 infini-gram 引擎能以毫秒级延迟计算概率,无需预先存储计数表。分析发现 ∞-gram 的下一词预测准确率约 47%,可与神经 LLM 互补并显著降低其困惑度,同时还揭示了机器生成文本与 ∞-gram 一致程度随后缀长度的异常。
评论者把它当作超大规模 n-gram 模型的实例来引用:它能在训练数据中检索子串、即时统计可能的续写,也有人觉得它实现巧妙却几乎没有后续工作。
“I found the implementation to be clever and I'm somewhat surprised it received so little follow-up work”
“Not 100M I guess, but this is fresh from today's arXiv:”
“otherwise we would be using infini-gram Infini-gram to regurgitate exact matches.”
“But here is a really big one of those if you want it: Infini-gram”
“using a substring-search index on the training data to count possible continuations on the fly: Infini-gram”