按年被提到
20142018 · 2 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1408.5882 · cs.CL

Convolutional Neural Networks for Sentence Classification

用于句子分类的卷积神经网络
Yoon Kim · 2014

在预训练词向量上叠一个简单 CNN,句子分类效果出色

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2015-10-26 · 最近 2018-03-02
4不同的人
3活跃月份
3讨论串
15,290被引(OpenAlex)

报告在预训练词向量之上训练卷积神经网络(CNN)做句子级分类的一系列实验。结果显示,一个超参数调得很少、使用静态词向量的简单 CNN 就能在多个基准上取得出色成绩;对词向量做任务相关的微调能进一步提升,并提出一个简单的架构修改,同时使用任务相关向量和静态向量。这些 CNN 模型在包括情感分析和问题分类在内的 7 个任务中的 4 个上刷新了最好成绩。

HN 为什么提它

HN 上的人把它当作 CNN 用于文本分类的简洁范例:比 RNN 训练快、适合较简单的场景,并有人直接以它为基础自己实现。

方法难度 2 / 5约 20 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2词向量(word2vec)
3文本分类与情感分析
4微调(fine-tuning)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立词向量、统一神经网络 NLP 架构和 dropout 的前置知识,足以读懂目标论文里在预训练词向量上叠 CNN 的做法。

  1. 1
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    目标论文的输入就是 word2vec 预训练词向量。

    读CBOW 与 Skip-gram 的目标;理解词向量如何由上下文学得。

  2. 2
    Distributed Representations of Words and Phrases and their Compositionality词与短语的分布式表示及其组合性 · 2013

    目标论文使用的 word2vec 向量正是这类 Skip-gram 加负采样训练出来的。

    读负采样与高频词降采样;了解词向量质量从何而来。

  3. 3
    Natural Language Processing (almost) from Scratch几乎从零开始的自然语言处理 · 2011

    较早把卷积网络与词嵌入用于多种 NLP 任务,目标论文的 CNN 结构沿此思路。

    读词嵌入加卷积、池化的句子建模方式,以及免特征工程的统一架构思想。

  4. 4
    Improving neural networks by preventing co-adaptation of feature detectors通过防止特征检测器的共适应来改进神经网络 · 2012

    目标论文在倒数第二层使用 dropout 做正则。

    读dropout 的直观含义:训练时随机丢弃特征检测器、防止共适应。

  5. 5
    Convolutional Neural Networks for Sentence Classification用于句子分类的卷积神经网络 · 2014 · 就是这篇

    目标论文:在静态或微调的预训练词向量上叠一个简单 CNN 做句子分类。

    读单通道与双通道(静态加微调)模型的结构、多种窗口宽度的卷积核与最大池化。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐ovi256 · 2018-03

“It's a very neat use of CNNs for language processing”

推荐它,称这是把 CNN 用于语言处理的巧妙做法,训练比 RNN 更快
Understanding word vectors原评论 ↗
引用bernatfp · 2015-10

“A different approach that seems to provide results on par with the state of the art in some NLP tasks [1].”

引用它作为另一种思路,在部分 NLP 任务上接近当时最优水平
Deep learning for NLP resources原评论 ↗
引用drraid0 · 2017-11

“See [Yoon Kim 2014].”

指向 Yoon Kim 的 CNN 句子分类工作,适合较简单的场景
Ask HN: Anyone using NLP to tag sentences?原评论 ↗
引用bomb199 · 2018-03

“I based it off of Yoon Kim's[0] work.”

说明自己的实现基于 Yoon Kim 的工作,用 word2vec 矩阵做 CNN 文本分类
Understanding word vectors原评论 ↗