按年被提到
20152015 · 3 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1502.01710 · cs.LG

Text Understanding from Scratch

从零开始的文本理解
Xiang Zhang, Yann LeCun · 2015

用字符级卷积网络直接做文本分类,不依赖词和语法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2015-02-06 · 最近 2018-04-30
8不同的人
5活跃月份
8讨论串
411被引(OpenAlex)

论文展示可以用时序卷积网络(ConvNet)直接从字符级输入出发做文本理解,涵盖本体分类、情感分析和文本分类等大规模数据集。结果表明这类模型不需要任何词、短语、句子或句法语义知识也能取得很好的效果,并且对英文和中文都适用。

HN 为什么提它

评论者用它说明机器学习文本模型可以远超词频统计,直接从原始字符流学到高层属性,并把它当作 Facebook DeepText 的参考来源。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(ConvNet)
2文本分类基础
3词向量(word2vec)
4深度学习训练基础

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立神经 NLP 的前史(词向量与卷积句子分类),以及 dropout 这类训练技巧,用来理解不借助词与语法、直接在字符上做卷积的思路。

  1. 1
    Natural Language Processing (almost) from Scratch几乎从零开始的自然语言处理 · 2011

    神经网络做 NLP、免特征工程的早期代表,是目标论文要推进的方向。

    读统一架构加词嵌入的思路,以及它仍依赖词这一单位。

  2. 2
    Distributed Representations of Words and Phrases and their Compositionality词与短语的分布式表示及其组合性 · 2013

    词向量是当时的主流文本表示,目标论文用字符级输入来对比。

    读Skip-gram 与负采样;理解词级表示的做法。

  3. 3
    Distributed Representations of Sentences and Documents句子与文档的分布式表示 · 2014

    代表另一种学习文本的定长向量表示的方法,是目标论文的对比基线之一。

    读段落向量的基本思路,不必深究训练细节。

  4. 4
    Convolutional Neural Networks for Sentence Classification用于句子分类的卷积神经网络 · 2014

    词向量上叠 CNN 做句子分类,目标论文把输入换成字符。

    读多窗口卷积加最大池化的结构。

  5. 5
    Improving neural networks by preventing co-adaptation of feature detectors通过防止特征检测器的共适应来改进神经网络 · 2012

    目标论文的大规模字符级卷积网络用 dropout 做正则化。

    读训练时随机丢弃单元的做法与直觉。

  6. 6
    Text Understanding from Scratch从零开始的文本理解 · 2015 · 就是这篇

    目标论文:用字符级时序卷积网络直接做文本分类。

    读字符的 one-hot 编码、卷积网络结构,以及数据增强(同义词替换)。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用agibsonccc · 2015-03

“Facebook just came out with a paper recently that beat word2vec as well[4].”

提到 Facebook 近期的论文,称其同样超过了 word2vec
A Word Is Worth a Thousand Vectors原评论 ↗
引用Xeoncross · 2016-06

“Is this the paper they said they based this on:”

询问这是否就是 DeepText 声称所基于的论文
DeepText: Facebook's text understanding engine原评论 ↗
引用eegilbert · 2016-06

“One example is this recent paper on learning (somewhat) high-level attributes of text from character streams alone”

举例:仅从字符流学习文本的(某种程度)高层属性
What is the difference between deep learning and usual machine learning?原评论 ↗
引用theschreon · 2018-04

“There are machine learning models which go far beyond counting words, for example see Text Understanding from Scratch”

举例说明有远超词频统计的机器学习文本模型
IBM is not doing "cognitive computing" with Watson (2016)原评论 ↗
被提交为 story · 4 次