“The vector representations learned by this type of algorithm truly appear to be capturing the meaning of sentences.”
Skip-Thought Vectors
用句子编码器重构前后句,无监督学习通用句向量
提出无监督学习通用分布式句子编码器的方法:利用书籍文本的连续性,训练一个编码器—解码器模型去重构被编码段落前后的句子,使语义和句法相近的句子映射到相近的向量。再引入简单的词表扩展方法来编码训练中没见过的词,把词表扩到一百万词;之后在 8 个任务(语义相关性、复述检测、图文排序、问题类型分类及 4 个情感与主观性数据集)上用线性模型评估,得到可直接使用、稳健且实用的通用句子表示。
HN 上的人觉得这类向量似乎真正抓住了句子的含义,可用于检索语义相近的句子;也有评论质疑把一句话压成固定长度向量是否合理。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先掌握词向量和序列到序列的编码器-解码器框架,再看句向量的同类思路,最后读 Skip-Thought 如何用相邻句子训练句编码器。
- 1
Skip-Thought 的思路来自 skip-gram,由预测相邻词推广到预测相邻句
读CBOW 与 skip-gram 的训练目标;理解词向量为什么能捕捉语义
- 2
skip-gram 的负采样与降采样是 Skip-Thought 沿用的词向量基础
读负采样与高频词降采样的做法
- 3
Skip-Thought 的词表扩展方法借用了这里的两个向量空间之间的线性映射
读在两个词向量空间间学线性映射的方法,对应 Skip-Thought 的词表扩展
- 4
Paragraph Vector 是学句向量的直接前作,也是 Skip-Thought 的对比对象
读把句子学成定长向量的训练方式,以及与词向量的区别
- 5
RNN 编码器-解码器结构的来源,Skip-Thought 的编码器和解码器基于此类循环网络
读编码器把句子压成向量、解码器据此生成的整体结构
- 6
序列到序列框架是 Skip-Thought 把句子编码再解码邻句的直接模板
读编码器-解码器的训练与解码;联系到把解码目标换成前后句
- 7Skip-Thought Vectors
目标论文:用相邻句重构训练无监督句编码器,并做词表扩展
读编码器和两个解码器的结构、词表扩展方法,以及线性模型上的评测任务
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“dubious to try to reduce a sentence to a small fixed length representation, whether that's e.g. 2400 real numbers in [2]”
“I have shivers going down my spine at the idea of feeding, say, skip-thought vectors representing sentences[1] into stack-augmented recurrent neural nets as proposed in Facebook's paper[2], for all sorts of interesting tasks.”
“The current pace of research, which has led to[4], and the results in this paper and in [1] are just mind-boggling.”
- Skip-Thought Vectors ↗pveerina · 2015-06-23 · 4 分