推荐rsmith49 · 2018-05
“there is a promising new research paper from fast.ai that speaks to using Wikipedia data to create a language model for a specific language”
推荐 fast.ai 的新研究,用维基百科数据为特定语言训练语言模型
ULMFiT:把预训练语言模型迁移到任意 NLP 分类任务的微调方法
论文提出 ULMFiT,一种可用于任何 NLP 任务的迁移学习方法,并介绍了微调语言模型的若干关键技巧。它在六个文本分类任务上显著超过当时最优水平,在多数数据集上把错误率降低 18–24%;仅用 100 个标注样本,就能达到从头训练使用 100 倍数据时的效果。作者同时开源了预训练模型和代码。
2018 年前后评论者把它当作 NLP 迁移学习的代表作,尤其适用于为特定语言用维基百科训练语言模型再微调的场景,也常被补充进讨论 NLP 进展的清单里。
“there is a promising new research paper from fast.ai that speaks to using Wikipedia data to create a language model for a specific language”
“Jeremy Howard and Sebastian Ruder's also-impressive ULMFit.[a]”
“Seems like the exact use case for that.”
“recent work on transfer learning Universal Language Model Fine-tuning for Text Classification”
“* ULMFit - Universal Language Model Fine-tuning for Text Classification”