“But more recently we have found that passing the raw character embeddings through a two layer BiLSTM will resolve the ambiguity of meaning from context”
Deep contextualized word representations
用双向语言模型内部状态生成随上下文变化的词向量(ELMo)
论文提出 ELMo:用大规模文本预训练的深层双向语言模型(biLM),把其各层内部状态的加权组合作为词表示,能同时刻画词的句法、语义特征和一词多义。这种表示可以直接加到现有模型上,在问答、文本蕴含、情感分析等六个 NLP 任务上显著刷新当时最好成绩。分析还表明,暴露网络的深层内部状态很关键。
HN 评论里把 ELMo 当作上下文词嵌入的代表和基础性 AI 论文清单中的一员,用来说明词义可以由上下文消歧,也常被提到是 Sesame Street 系列语言模型之一。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看神经网络如何免特征工程地做 NLP 以及词向量,再看大规模 LSTM 语言模型和语料,最后读 ELMo 如何把语言模型内部状态变成词表示。
- 1
统一的神经网络架构做多种 NLP 任务,是用预训练表示替代手工特征的早期代表。
读词嵌入作为输入的统一架构与多任务设置的思路。
- 2
ELMo 针对的是 word2vec 这类静态词向量无法处理一词多义的问题。
读静态词向量的训练方式及其局限。
- 3
ELMo 的双向语言模型采用此类大规模 LSTM 语言模型,并含字符级 CNN 输入。
读大规模 LSTM 语言模型的结构,以及字符级 CNN 输入。
- 4
ELMo 的语言模型在十亿词语料上预训练,此文提供该语料。
读语料规模与评测设置,了解预训练数据来源。
- 5Deep contextualized word representations
目标论文:ELMo,用双向语言模型内部状态做上下文化词表示。
读多层 biLM 状态的加权组合,以及如何接入下游任务。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“* ELMo - Deep contextualized word representations”
“I posted a list of papers on twitter, and will be posting a summary for each of them as well.”
“ELMo: Deep contextualized word representations”