“You might be interested to read this: word2vec Explained”
word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method
逐步推导 word2vec 负采样目标函数背后的道理
作者认为 Mikolov 等人论文中对模型的描述有些晦涩,因此专门解释其中的公式(4),即负采样(negative sampling),说明方程背后的动机和推导。这篇短文面向没有语言模型背景的读者,帮助理解 word2vec 究竟在优化什么。
有人想弄懂 word2vec 为什么有效时,评论者推荐它作为比原论文更清晰的推导,并把它与 Rong 的《Word2vec Parameter Learning Explained》一起推荐给初学者。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先读 word2vec 原始论文建立 skip-gram 和词向量的直观,再读负采样那篇,最后读这篇推导,弄懂负采样目标函数为什么这样写。
- 1
这篇笔记要解释的 skip-gram 模型和词向量最早出自这里。
读CBOW 与 skip-gram 两种模型的结构和训练目标;实验的类比任务看个大概即可。
- 2
笔记推导的正是这篇论文里的公式 (4),即负采样目标。
读负采样(negative sampling)的目标函数和噪声分布,以及高频词降采样。
- 3word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method
目标论文:一步步推导负采样目标背后的道理。
读对照 Mikolov 的公式 (4),跟着推导 skip-gram 负采样目标的来龙去脉。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“He and Omer Levy also wrote a great explanation of word2vec:”
“and these two might be a stretch but I also like Rong's "Word2vec Parameter Learning Explained" [3] and Levy & Goldberg's "Word2vec Explained" [4].”
“One of the papers suggest that "we don't really know" (Section 4)”
“I have come across a paper which says "we don't know really". Is this true?”
“[3] - word2vec Explained”
- Word2Vec Explained [pdf] ↗abishekk92 · 2015-02-02 · 1 分