按年被提到
20142017 · 4 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1402.3722 · cs.CL

word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method

word2vec 详解:推导 Mikolov 等人的负采样词向量方法
Yoav Goldberg, Omer Levy · 2014

逐步推导 word2vec 负采样目标函数背后的道理

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2015-02-02 · 最近 2017-11-14
6不同的人
6活跃月份
6讨论串
1,243被引(OpenAlex)

作者认为 Mikolov 等人论文中对模型的描述有些晦涩,因此专门解释其中的公式(4),即负采样(negative sampling),说明方程背后的动机和推导。这篇短文面向没有语言模型背景的读者,帮助理解 word2vec 究竟在优化什么。

HN 为什么提它

有人想弄懂 word2vec 为什么有效时,评论者推荐它作为比原论文更清晰的推导,并把它与 Rong 的《Word2vec Parameter Learning Explained》一起推荐给初学者。

教程难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1词向量(word embedding)与 skip-gram 模型
2Softmax 与对数似然
3神经网络基础与梯度
4概率基础与逻辑回归

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先读 word2vec 原始论文建立 skip-gram 和词向量的直观,再读负采样那篇,最后读这篇推导,弄懂负采样目标函数为什么这样写。

  1. 1
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    这篇笔记要解释的 skip-gram 模型和词向量最早出自这里。

    读CBOW 与 skip-gram 两种模型的结构和训练目标;实验的类比任务看个大概即可。

  2. 2
    Distributed Representations of Words and Phrases and their Compositionality词与短语的分布式表示及其组合性 · 2013

    笔记推导的正是这篇论文里的公式 (4),即负采样目标。

    读负采样(negative sampling)的目标函数和噪声分布,以及高频词降采样。

  3. 3
    word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding methodword2vec 详解:推导 Mikolov 等人的负采样词向量方法 · 2014 · 就是这篇

    目标论文:一步步推导负采样目标背后的道理。

    读对照 Mikolov 的公式 (4),跟着推导 skip-gram 负采样目标的来龙去脉。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐syllogism · 2015-06

“You might be interested to read this: word2vec Explained”

推荐这篇,可能对想了解 word2vec 的人有用
Hound voice search NLP demo [video]原评论 ↗
推荐vonnik · 2015-10

“He and Omer Levy also wrote a great explanation of word2vec:”

称他和 Omer Levy 写了一篇很好的 word2vec 解释
Primer on Neural Network Models for Natural Language Processing[pdf]原评论 ↗
推荐faizshah · 2017-11

“and these two might be a stretch but I also like Rong's "Word2vec Parameter Learning Explained" [3] and Levy & Goldberg's "Word2vec Explained" [4].”

把它和 Rong、Levy 与 Goldberg 的文章一并列为 word2vec 入门推荐
Ask HN: What are some interesting papers in CS for a beginner?原评论 ↗
引用denzil_correa · 2017-03

“One of the papers suggest that "we don't really know" (Section 4)”

提到其中一篇论文第 4 节说我们并不真正知道原因
Facebook releases 300-dimensional pretrained Fasttext vectors for 90 languages原评论 ↗
引用denzil_correa · 2017-03

“I have come across a paper which says "we don't know really". Is this true?”

询问论文所说我们并不真正知道是否属实
Facebook releases 300-dimensional pretrained Fasttext vectors for 90 languages原评论 ↗
引用jventura · 2017-09

“[3] - word2vec Explained”

在讨论词表示时引用它作为 word2vec 负采样的推导
What every software engineer should know about search原评论 ↗
被提交为 story · 1 次