按年被提到
20182018 · 2 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1802.05365 · cs.CL

Deep contextualized word representations

深度上下文化词表示(ELMo)
Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer · 2018

用双向语言模型内部状态生成随上下文变化的词向量(ELMo)

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2018-09-22 · 最近 2023-09-07
4不同的人
4活跃月份
4讨论串
12,293被引(OpenAlex)

论文提出 ELMo:用大规模文本预训练的深层双向语言模型(biLM),把其各层内部状态的加权组合作为词表示,能同时刻画词的句法、语义特征和一词多义。这种表示可以直接加到现有模型上,在问答、文本蕴含、情感分析等六个 NLP 任务上显著刷新当时最好成绩。分析还表明,暴露网络的深层内部状态很关键。

HN 为什么提它

HN 评论里把 ELMo 当作上下文词嵌入的代表和基础性 AI 论文清单中的一员,用来说明词义可以由上下文消歧,也常被提到是 Sesame Street 系列语言模型之一。

奠基之作难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1词向量(word2vec / GloVe)
2循环神经网络与 LSTM
3语言模型(language model)
4迁移学习与预训练

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看神经网络如何免特征工程地做 NLP 以及词向量,再看大规模 LSTM 语言模型和语料,最后读 ELMo 如何把语言模型内部状态变成词表示。

  1. 1
    Natural Language Processing (almost) from Scratch几乎从零开始的自然语言处理 · 2011

    统一的神经网络架构做多种 NLP 任务,是用预训练表示替代手工特征的早期代表。

    读词嵌入作为输入的统一架构与多任务设置的思路。

  2. 2
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    ELMo 针对的是 word2vec 这类静态词向量无法处理一词多义的问题。

    读静态词向量的训练方式及其局限。

  3. 3
    Exploring the Limits of Language Modeling探索语言建模的极限 · 2016

    ELMo 的双向语言模型采用此类大规模 LSTM 语言模型,并含字符级 CNN 输入。

    读大规模 LSTM 语言模型的结构,以及字符级 CNN 输入。

  4. 4
    One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling十亿词基准:衡量统计语言建模的进展 · 2013

    ELMo 的语言模型在十亿词语料上预训练,此文提供该语料。

    读语料规模与评测设置,了解预训练数据来源。

  5. 5
    Deep contextualized word representations深度上下文化词表示(ELMo) · 2018 · 就是这篇

    目标论文:ELMo,用双向语言模型内部状态做上下文化词表示。

    读多层 biLM 状态的加权组合,以及如何接入下游任务。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用visarga · 2018-09

“But more recently we have found that passing the raw character embeddings through a two layer BiLSTM will resolve the ambiguity of meaning from context”

引用它,说明字符嵌入经两层 BiLSTM 可借上下文消除词义歧义
Making a racist AI without really trying (2017)原评论 ↗
引用cs702 · 2018-10

“* ELMo - Deep contextualized word representations”

补充文章遗漏的上下文嵌入工作 ELMo
Tale of Three Probabilistic Families: Discriminative, Descriptive and Generative原评论 ↗
引用vikashrungta · 2023-02

“I posted a list of papers on twitter, and will be posting a summary for each of them as well.”

把 ELMo 列入自己整理的基础 AI 论文清单
What were the 40 research papers on the list Ilya Sutskever gave John Carmack?原评论 ↗
引用NaiveBayesian · 2023-09

“ELMo: Deep contextualized word representations”

列举以芝麻街命名的语言模型之一 ELMo
Ernie, China's ChatGPT, Cracks Under Pressure原评论 ↗