按年被提到
20182018 · 6 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:1801.06146 · cs.CL

Universal Language Model Fine-tuning for Text Classification

面向文本分类的通用语言模型微调
Jeremy Howard, Sebastian Ruder · 2018

ULMFiT:把预训练语言模型迁移到任意 NLP 分类任务的微调方法

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2018-01-19 · 最近 2025-03-30
7不同的人
7活跃月份
8讨论串
4,310被引(OpenAlex)

论文提出 ULMFiT,一种可用于任何 NLP 任务的迁移学习方法,并介绍了微调语言模型的若干关键技巧。它在六个文本分类任务上显著超过当时最优水平,在多数数据集上把错误率降低 18–24%;仅用 100 个标注样本,就能达到从头训练使用 100 倍数据时的效果。作者同时开源了预训练模型和代码。

HN 为什么提它

2018 年前后评论者把它当作 NLP 迁移学习的代表作,尤其适用于为特定语言用维基百科训练语言模型再微调的场景,也常被补充进讨论 NLP 进展的清单里。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1语言模型(language model)
2迁移学习与微调(fine-tuning)
3LSTM / 循环神经网络
4文本分类任务
5预训练与下游任务的关系

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐rsmith49 · 2018-05

“there is a promising new research paper from fast.ai that speaks to using Wikipedia data to create a language model for a specific language”

推荐 fast.ai 的新研究,用维基百科数据为特定语言训练语言模型
Our machine learning and NLP journey原评论 ↗
推荐cs702 · 2018-06

“Jeremy Howard and Sebastian Ruder's also-impressive ULMFit.[a]”

称赞 Howard 和 Ruder 的 ULMFiT 同样令人印象深刻
Improving Language Understanding with Unsupervised Learning原评论 ↗
推荐yunusabd · 2020-07

“Seems like the exact use case for that.”

认为它正好适合这个使用场景
Classifying 200k articles in 7 hours using NLP原评论 ↗
引用laughingman2 · 2018-02

“recent work on transfer learning Universal Language Model Fine-tuning for Text Classification”

把它当作近期迁移学习的工作来引用
Learning Word Vectors for 157 Languages原评论 ↗
引用cs702 · 2018-10

“* ULMFit - Universal Language Model Fine-tuning for Text Classification”

补充文章遗漏的语言模型工作 ULMFiT
Tale of Three Probabilistic Families: Discriminative, Descriptive and Generative原评论 ↗
被提交为 story · 3 次