按年被提到
20132015 · 4 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1310.4546 · cs.CL

Distributed Representations of Words and Phrases and their Compositionality

词与短语的分布式表示及其组合性
Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeffrey Dean · 2013

Skip-gram 的降采样与负采样让词向量更好更快(word2vec)

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2015-08-14 · 最近 2019-06-03
6不同的人
3活跃月份
4讨论串
24,513被引(OpenAlex)

在连续 Skip-gram 模型基础上提出若干扩展:对高频词降采样,既加快训练又使词表示更规整;提出负采样(negative sampling)作为分层 softmax 的简单替代。论文还指出词向量对词序不敏感、无法表示习语(如 Canada 与 Air 不能直接组合成 Air Canada),因此提出一个简单的短语发现方法,并表明可以为数百万个短语学到好的向量。

HN 为什么提它

评论者把它当作 word2vec 的入门文本:用来解释词向量加减运算为何有效(图 2 的 PCA 投影)、负采样比分层 softmax 更高效,以及每个词有两套向量这一细节。

奠基之作难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1词向量(word embedding)
2Skip-gram 模型
3softmax 与分层 softmax
4神经网络语言模型基础

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先读 word2vec 的第一篇,掌握 Skip-gram 与词向量的基本设定,再读第二篇的降采样与负采样等改进。

  1. 1
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    目标论文是它的后续,Skip-gram 模型和训练设定都来自这里。

    读CBOW 与 Skip-gram 两种模型结构,以及词类比任务的评测方式。

  2. 2
    Distributed Representations of Words and Phrases and their Compositionality词与短语的分布式表示及其组合性 · 2013 · 就是这篇

    目标论文:用降采样与负采样改进 Skip-gram。

    读层次 softmax、负采样、高频词降采样,以及短语的识别与加法组合性。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐Tobu · 2015-08

“This seems to be a good introduction to the topic: Distributed Representations of Words and Phrases and their Compositionality”

推荐它作为 word2vec 与词向量表示的入门
Google Is Working on a New Type of Algorithm Called “Thought Vectors”原评论 ↗
引用viksit · 2015-08

“It relies on utilizing word embeddings (such as those described here: Distributed Representations of Words and Phrases and their Compositionality)”

指出某解析工具依赖这类 word embeddings
Show HN: Myra – AI based personal assistant you can text原评论 ↗
引用abeppu · 2015-08

“work that came out in 2013.”

提到 2013 年的 word2vec,向量运算可体现类比关系
Google Is Working on a New Type of Algorithm Called “Thought Vectors”原评论 ↗
引用danieldk · 2015-08

“The 2-dimensional PCA projection in figure 2 of one of Mikolov's papers [1] gives an intuition why substraction/addition generally works.”

指出论文中 PCA 投影图,可直观理解词向量加减为何有效
Google Is Working on a New Type of Algorithm Called “Thought Vectors”原评论 ↗
引用kough · 2016-08

“despite that paper reporting that "negative sampling" is more computationally efficient and of similar quality.”

指出论文称 negative sampling 更高效且质量相近,但实际情况不同
FastText – Library for fast text representation and classification原评论 ↗
引用RyEgswuCsn · 2019-06

“the fact that each word is represented by two vectors was also mentioned in the original paper describing word2vec:”

指出 word2vec 原论文已提到每个词有两个向量
Differences between the word2vec paper and its implementation原评论 ↗