按年被提到
20242024 · 5 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2401.17377 · cs.CL

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens

Infini-gram:把无界 n-gram 语言模型扩展到万亿 token
Jiacheng Liu, Sewon Min, Luke Zettlemoyer, Yejin Choi, Hannaneh Hajishirzi · 2024

基于后缀数组的万亿 token 级无界 n-gram 语言模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2024-02-01 · 最近 2026-04-21
6不同的人
5活跃月份
8讨论串
29被引(OpenAlex)

论文在 5 万亿 token 上构建了迄今最大的 n-gram 语言模型,并提出允许 n 任意大的 ∞-gram 模型(带回退),用后缀数组实现的 infini-gram 引擎能以毫秒级延迟计算概率,无需预先存储计数表。分析发现 ∞-gram 的下一词预测准确率约 47%,可与神经 LLM 互补并显著降低其困惑度,同时还揭示了机器生成文本与 ∞-gram 一致程度随后缀长度的异常。

HN 为什么提它

评论者把它当作超大规模 n-gram 模型的实例来引用:它能在训练数据中检索子串、即时统计可能的续写,也有人觉得它实现巧妙却几乎没有后续工作。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1n-gram 语言模型
2后缀数组(suffix array)
3困惑度(perplexity)
4Transformer 预训练

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐shenberg · 2025-11

“I found the implementation to be clever and I'm somewhat surprised it received so little follow-up work”

称赞实现巧妙,并惊讶它几乎没有后续工作,可作为 LLM 的补充
Ask HN: How are Markov chains so different from tiny LLMs?原评论 ↗
引用Al-Khwarizmi · 2024-02

“Not 100M I guess, but this is fresh from today's arXiv:”

指出这是当天 arXiv 新出、把 n-gram 模型扩到万亿 token 的论文
Markov Chains are the Original Language Models原评论 ↗
引用yorwba · 2024-06

“otherwise we would be using infini-gram Infini-gram to regurgitate exact matches.”

说明否则就会用 infini-gram 来原样复述精确匹配的内容
Transformers Represent Belief State Geometry in Their Residual Stream原评论 ↗
引用astrange · 2025-11

“But here is a really big one of those if you want it: Infini-gram”

拿它作为万亿 token 规模的大型马尔可夫式模型的实例
A new Google model is nearly perfect on automated handwriting recognition原评论 ↗
引用yorwba · 2026-04

“using a substring-search index on the training data to count possible continuations on the fly: Infini-gram”

引用它说明用训练数据上的子串搜索索引即时统计可能的后续词
Soul Player C64 – A real transformer running on a 1 MHz Commodore 64原评论 ↗
被提交为 story · 3 次