按年被提到
20142015 · 3 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1405.4053 · cs.CL

Distributed Representations of Sentences and Documents

句子与文档的分布式表示
Quoc V. Le, Tomas Mikolov · 2014

Paragraph Vector:把句子和文档学成定长稠密向量

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2014-05-27 · 最近 2023-12-18
8不同的人
8活跃月份
9讨论串
7,542被引(OpenAlex)

论文提出 Paragraph Vector,一种无监督算法,可把变长的句子、段落或文档学成定长稠密向量,训练目标是预测文档中的词。它克服了词袋特征丢失词序和语义的缺点,在多个文本分类和情感分析任务上取得了当时最好的结果。

HN 为什么提它

评论者把它作为 paragraph embedding / doc2vec(gensim 的实现)的出处来引用,也有人指出其中部分报告结果一直无人能复现。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1词向量(word2vec)
2词袋模型(bag-of-words)
3神经网络与反向传播
4文本分类基础

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立词向量(word2vec)及其前身的神经语言模型思路,理解 Paragraph Vector 如何把词向量方法推广到句子和文档。

  1. 1
    Natural Language Processing (almost) from Scratch几乎从零开始的自然语言处理 · 2011

    统一的神经网络架构与词嵌入的早期实践,是词向量思路的前史。

    读查表式的词嵌入层,以及用窗口上下文学习词表示的想法;不必深究各项 NLP 任务。

  2. 2
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    Paragraph Vector 的两个模型直接对应 CBOW 和 Skip-gram。

    读CBOW 与 Skip-gram 的目标函数,以及词向量的类比性质。

  3. 3
    Distributed Representations of Words and Phrases and their Compositionality词与短语的分布式表示及其组合性 · 2013

    目标论文沿用其中的层次 softmax 等训练技巧,并延伸其组合性的讨论。

    读负采样与高频词降采样;理解训练为何变得快而好。

  4. 4
    Distributed Representations of Sentences and Documents句子与文档的分布式表示 · 2014 · 就是这篇

    目标论文:给每个段落加一个向量,与词向量共同预测词。

    读PV-DM 和 PV-DBOW 两种模型,以及推断新文档向量时固定其余参数的做法。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评gojomo · 2023-12

“There are some results in that paper, supposedly from exactly the technique described on an open dataset, that no one has ever been able to reproduce”

批评论文里有些号称用同一技术在公开数据集上得到的结果,无人能复现
Word2Vec Received 'Strong Reject' Four Times at ICLR2013原评论 ↗
引用sanxiyn · 2014-12

“Paragraph embedding was published this year as "Distributed Representations of Sentences and Documents". Distributed Representations of Sentences and Documents”

指出 Jeff Dean 幻灯片中的段落嵌入今年以这篇论文正式发表
Large Scale Deep Learning – Jeff Dean [pdf]原评论 ↗
引用Tobu · 2015-08

“This is about paragraph vectors: [OTHER_PAPER] Distributed Representations of Sentences and Documents”

引用它说明 paragraph vectors,即句子和文档嵌入方法
Google Is Working on a New Type of Algorithm Called “Thought Vectors”原评论 ↗
引用gojomo · 2015-08

“The gensim library now offers the 'Paragraph Vector' [1] approach to create vectors for longer ranges of text.”

指出 gensim 已提供这篇论文的 Paragraph Vector 方法,为较长文本生成向量
Using Doc2Vec to Suggest SubReddits原评论 ↗
引用versteegen · 2015-11

“[1] Quoc V. Le, Tomas Mikolov, 2014, Distributed Representations of Sentences and Documents, Distributed Representations of Sentences and Documents”

作为参考文献引用,学习句子和文档的定长向量表示
Why Neurons Have Thousands of Synapses: a Theory of Sequence Memory in Neocortex原评论 ↗
引用aglionby · 2018-03

“Doc2vec is the name of the gensim implementation of this paper [0].”

指出 gensim 的 Doc2vec 就是这篇论文的实现
Understanding word vectors原评论 ↗
被提交为 story · 3 次