按年被提到
20152015 · 4 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1506.06726 · cs.CL

Skip-Thought Vectors

Skip-Thought 向量
Ryan Kiros, Yukun Zhu, Ruslan Salakhutdinov, Richard S. Zemel, Antonio Torralba, Raquel Urtasun, Sanja Fidler · 2015

用句子编码器重构前后句,无监督学习通用句向量

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2015-06-23 · 最近 2016-03-23
4不同的人
5活跃月份
5讨论串
1,289被引(OpenAlex)

提出无监督学习通用分布式句子编码器的方法:利用书籍文本的连续性,训练一个编码器—解码器模型去重构被编码段落前后的句子,使语义和句法相近的句子映射到相近的向量。再引入简单的词表扩展方法来编码训练中没见过的词,把词表扩到一百万词;之后在 8 个任务(语义相关性、复述检测、图文排序、问题类型分类及 4 个情感与主观性数据集)上用线性模型评估,得到可直接使用、稳健且实用的通用句子表示。

HN 为什么提它

HN 上的人觉得这类向量似乎真正抓住了句子的含义,可用于检索语义相近的句子;也有评论质疑把一句话压成固定长度向量是否合理。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1循环神经网络(RNN/GRU)
2编码器—解码器(encoder-decoder)模型
3词向量(word2vec)
4语义相关性与情感分类评测

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先掌握词向量和序列到序列的编码器-解码器框架,再看句向量的同类思路,最后读 Skip-Thought 如何用相邻句子训练句编码器。

  1. 1
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    Skip-Thought 的思路来自 skip-gram,由预测相邻词推广到预测相邻句

    读CBOW 与 skip-gram 的训练目标;理解词向量为什么能捕捉语义

  2. 2
    Distributed Representations of Words and Phrases and their Compositionality词与短语的分布式表示及其组合性 · 2013

    skip-gram 的负采样与降采样是 Skip-Thought 沿用的词向量基础

    读负采样与高频词降采样的做法

  3. 3
    Exploiting Similarities among Languages for Machine Translation利用语言间的相似性做机器翻译 · 2013

    Skip-Thought 的词表扩展方法借用了这里的两个向量空间之间的线性映射

    读在两个词向量空间间学线性映射的方法,对应 Skip-Thought 的词表扩展

  4. 4
    Distributed Representations of Sentences and Documents句子与文档的分布式表示 · 2014

    Paragraph Vector 是学句向量的直接前作,也是 Skip-Thought 的对比对象

    读把句子学成定长向量的训练方式,以及与词向量的区别

  5. 5

    RNN 编码器-解码器结构的来源,Skip-Thought 的编码器和解码器基于此类循环网络

    读编码器把句子压成向量、解码器据此生成的整体结构

  6. 6
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    序列到序列框架是 Skip-Thought 把句子编码再解码邻句的直接模板

    读编码器-解码器的训练与解码;联系到把解码目标换成前后句

  7. 7
    Skip-Thought VectorsSkip-Thought 向量 · 2015 · 就是这篇

    目标论文:用相邻句重构训练无监督句编码器,并做词表扩展

    读编码器和两个解码器的结构、词表扩展方法,以及线性模型上的评测任务

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐cs702 · 2015-08

“The vector representations learned by this type of algorithm truly appear to be capturing the meaning of sentences.”

推荐:这类算法学到的向量表示确实抓住了句子含义
Google Is Working on a New Type of Algorithm原评论 ↗
批评versteegen · 2015-11

“dubious to try to reduce a sentence to a small fixed length representation, whether that's e.g. 2400 real numbers in [2]”

Why Neurons Have Thousands of Synapses: a Theory of Sequence Memory in Neocortex原评论 ↗
引用cs702 · 2015-09

“I have shivers going down my spine at the idea of feeding, say, skip-thought vectors representing sentences[1] into stack-augmented recurrent neural nets as proposed in Facebook's paper[2], for all sorts of interesting tasks.”

设想把 skip-thought 句向量输入 Facebook 的栈增强循环网络去做各种任务
Inferring Algorithmic Patterns with Stack原评论 ↗
引用jkldotio · 2016-03

“The current pace of research, which has led to[4], and the results in this paper and in [1] are just mind-boggling.”

感叹研究进展之快,本文和相关工作的结果令人惊叹
Tensorflow Implementation of Deep Visual Analogy-Making原评论 ↗
被提交为 story · 1 次