引用Danylon · 2017-04
“Imputation. [1] Remove a word from a sentence then try to predict it from its surrounding context.”
引用它说明 imputation:删去一个词再据上下文预测
发布近十亿词的语料基准,用来比较各种语言模型
论文提出一个用于衡量统计语言建模进展的新基准语料,训练数据接近十亿词,便于快速评估和比较新的语言建模技术。作者给出若干知名语言模型的表现:未剪枝的 Kneser-Ney 5-gram 基线困惑度为 67.6,多种技术组合后困惑度降低 35%(交叉熵降低 10%),最佳结果来自循环神经网络语言模型。
评论者把它当作语言模型研究用大语料来改进建模方法的背景引用,没有对基准本身下判断。
“Imputation. [1] Remove a word from a sentence then try to predict it from its surrounding context.”
“Researchers were looking for better language modelling techniques using large corpora”