按年被提到
20152015 · 2 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1507.07998 · cs.CL

Document Embedding with Paragraph Vectors

用段落向量做文档嵌入
Andrew M. Dai, Christopher Olah, Quoc V. Le · 2015

系统评测段落向量,在文档相似度上优于 LDA 等方法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2015-08-22 · 最近 2025-11-02
3不同的人
3活跃月份
4讨论串
263被引(OpenAlex)

段落向量(Paragraph Vectors)是一种无监督地学习文本片段分布式表示的方法,此前只在电影评论情感分析上做过概念验证。论文扩展到情感分析之外的任务,与 LDA 等文档建模算法做更充分的比较,并考察向量维度的影响,在 Wikipedia 与 arXiv 两个文档相似度数据集上,段落向量明显优于其他方法,作者还提出一个简单改进以提升嵌入质量,并发现段落向量也能像词向量一样做有意义的向量运算。

HN 为什么提它

评论者把它当作段落向量方法在文档相似度和向量算术上的补充参考,称它是原始论文“概念验证”的后续扩展。

实证研究难度 3 / 5约 30 分钟有时效性
读之前最好知道
1词向量(word2vec)
2潜在狄利克雷分配(LDA)
3文档嵌入与相似度度量

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

按词向量、短语/负采样、段落向量的顺序读,最后看这篇对段落向量的系统评测。

  1. 1
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    word2vec 的 CBOW 与 Skip-gram 是段落向量的基础

    读看两种模型的结构和训练目标,跳过大部分实验

  2. 2
    Distributed Representations of Words and Phrases and their Compositionality词与短语的分布式表示及其组合性 · 2013

    Skip-gram 的负采样和降采样是实践中训练这类向量的关键

    读看负采样目标函数与高频词降采样,理解训练如何加速

  3. 3
    Distributed Representations of Sentences and Documents句子与文档的分布式表示 · 2014

    段落向量方法本身(PV-DM 与 PV-DBOW)在这里提出

    读看两种模型如何给文档加一个段落向量,以及推断新文档向量的方式

  4. 4
    Document Embedding with Paragraph Vectors用段落向量做文档嵌入 · 2015 · 就是这篇

    对段落向量做更广任务的评测并与 LDA 等比较

    读关注文档相似度实验、与 LDA 的对比,以及向量维度的影响

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Tobu · 2015-08

“This is about paragraph vectors: Document Embedding with Paragraph Vectors [OTHER_PAPER]”

贴出段落向量相关论文,说明讨论的主题
Google Is Working on a New Type of Algorithm Called “Thought Vectors”原评论 ↗
引用gojomo · 2015-08

“The Paragraph Vector approach can give interesting results for document-similarity”

指出 Paragraph Vector 方法能得到有意思的文档相似度结果
Using Doc2Vec to Suggest SubReddits原评论 ↗
引用espeed · 2016-12

“Here's a more current paper from Quoc Le ([LINK], [LINK]) that expands on the "proof of concept" in the above paper:”

补充 Quoc Le 后续更新的论文,扩展了上文的概念验证
Distributed Representations of Sentences and Documents (2014) [pdf]原评论 ↗
引用gojomo · 2025-11

“as illustrated by some examples in the followup 'Paragraph Vector' paper in 2015: Document Embedding with Paragraph Vectors”

引用 2015 年 Paragraph Vector 后续论文中的例子来佐证观点
Word2vec-style vector arithmetic on docs embeddings原评论 ↗