按年被提到
20132014 · 1 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:1312.3005 · cs.CL

One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling

十亿词基准:衡量统计语言建模的进展
Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn, Tony Robinson · 2013

发布近十亿词的语料基准,用来比较各种语言模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2014-03-12 · 最近 2020-11-10
3不同的人
3活跃月份
3讨论串
704被引(OpenAlex)

论文提出一个用于衡量统计语言建模进展的新基准语料,训练数据接近十亿词,便于快速评估和比较新的语言建模技术。作者给出若干知名语言模型的表现:未剪枝的 Kneser-Ney 5-gram 基线困惑度为 67.6,多种技术组合后困惑度降低 35%(交叉熵降低 10%),最佳结果来自循环神经网络语言模型。

HN 为什么提它

评论者把它当作语言模型研究用大语料来改进建模方法的背景引用,没有对基准本身下判断。

实证研究难度 3 / 5约 35 分钟有时效性
读之前最好知道
1语言模型(language model)与困惑度(perplexity)
2n-gram 与 Kneser-Ney 平滑
3循环神经网络(RNN)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Danylon · 2017-04

“Imputation. [1] Remove a word from a sentence then try to predict it from its surrounding context.”

引用它说明 imputation:删去一个词再据上下文预测
How people talk about marijuana on Reddit: a natural language analysis原评论 ↗
引用alquemist · 2020-11

“Researchers were looking for better language modelling techniques using large corpora”

说明研究者当时用大语料寻找更好的语言建模技术
A Primer in BERTology: What We Know About How Bert Works原评论 ↗
被提交为 story · 1 次