“Facebook just came out with a paper recently that beat word2vec as well[4].”
Text Understanding from Scratch
用字符级卷积网络直接做文本分类,不依赖词和语法
论文展示可以用时序卷积网络(ConvNet)直接从字符级输入出发做文本理解,涵盖本体分类、情感分析和文本分类等大规模数据集。结果表明这类模型不需要任何词、短语、句子或句法语义知识也能取得很好的效果,并且对英文和中文都适用。
评论者用它说明机器学习文本模型可以远超词频统计,直接从原始字符流学到高层属性,并把它当作 Facebook DeepText 的参考来源。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立神经 NLP 的前史(词向量与卷积句子分类),以及 dropout 这类训练技巧,用来理解不借助词与语法、直接在字符上做卷积的思路。
- 1
神经网络做 NLP、免特征工程的早期代表,是目标论文要推进的方向。
读统一架构加词嵌入的思路,以及它仍依赖词这一单位。
- 2
词向量是当时的主流文本表示,目标论文用字符级输入来对比。
读Skip-gram 与负采样;理解词级表示的做法。
- 3
代表另一种学习文本的定长向量表示的方法,是目标论文的对比基线之一。
读段落向量的基本思路,不必深究训练细节。
- 4
词向量上叠 CNN 做句子分类,目标论文把输入换成字符。
读多窗口卷积加最大池化的结构。
- 5
目标论文的大规模字符级卷积网络用 dropout 做正则化。
读训练时随机丢弃单元的做法与直觉。
- 6Text Understanding from Scratch
目标论文:用字符级时序卷积网络直接做文本分类。
读字符的 one-hot 编码、卷积网络结构,以及数据增强(同义词替换)。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Is this the paper they said they based this on:”
“One example is this recent paper on learning (somewhat) high-level attributes of text from character streams alone”
“There are machine learning models which go far beyond counting words, for example see Text Understanding from Scratch”
- Text Understanding from Scratch Using Temporal Convolutional Networks ↗drewvolpe · 2015-02-06 · 61 分
- Text Understanding from Scratch [pdf] ↗bra-ket · 2015-03-13 · 53 分
- Text understanding from scratch ↗dorsatum · 2016-06-02 · 2 分
- Text Understanding from Scratch (2015) ↗bootcat · 2017-02-17 · 10 分