按年被提到
20182018 · 1 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1804.10959 · cs.CL

Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates

子词正则化:用多个子词候选改进神经网络翻译模型
Taku Kudo · 2018

训练时概率采样多种子词切分,并提出 Unigram 语言模型分词

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2018-05-03 · 最近 2025-05-30
3不同的人
3活跃月份
3讨论串
1,048被引(OpenAlex)

论文利用子词切分的歧义性作为噪声来提升神经机器翻译的鲁棒性:同一词表下一个句子有多种切分方式,训练时按概率采样多种切分来训练模型,这就是子词正则化。为了更好地采样,作者还基于 unigram 语言模型提出新的子词切分算法,在多个语料上取得一致提升,尤其是在低资源和领域外场景。

HN 为什么提它

HN 评论者主要引用它作为 UnigramLM 分词和训练时采样多种子词切分这一做法的出处,并指出其中词表初始化(vocabulary seeding)的细节。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1神经机器翻译(NMT)
2子词切分与 BPE(byte pair encoding)
3语言模型与 EM 算法
4正则化与数据增强

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径沿着神经机器翻译的发展:序列到序列、注意力、开放词表问题、谷歌的 wordpiece 系统,再读子词正则化。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    编码器-解码器翻译模型的基本框架,目标论文的翻译实验以它为基础。

    读两个 LSTM 编码与解码的结构。

  2. 2
    Neural Machine Translation by Jointly Learning to Align and Translate通过联合学习对齐与翻译实现神经机器翻译 · 2014

    NMT 中的注意力机制,目标论文所用的翻译模型采用了这类结构。

    读软对齐注意力的计算方式。

  3. 3

    讨论 NMT 的罕见词问题,是引入子词单元要解决的开放词表问题。

    读固定词表导致的未登录词问题,以及它如何影响翻译质量。

  4. 4
    Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation谷歌神经机器翻译系统:弥合人类与机器翻译之间的差距 · 2016

    谷歌的 NMT 系统使用 wordpiece 子词,是目标论文所对比的典型确定性子词切分的应用。

    读wordpiece 子词单元的使用方式及其对翻译的作用。

  5. 5
    Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates子词正则化:用多个子词候选改进神经网络翻译模型 · 2018 · 就是这篇

    目标论文:训练时概率采样多种子词切分,并提出 Unigram 语言模型分词。

    读子词切分的歧义性,按概率采样切分的正则化做法,以及 Unigram 语言模型分词。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐jszymborski · 2024-02

“IIRC that paper also introduces subword regularization which I think is really cool.”

称论文引入的子词正则化很酷
Code for the Byte Pair Encoding algorithm, commonly used in LLM tokenization原评论 ↗
引用mcyc · 2025-05

“The details of UnigramLM are here Subword Regularization, and the part about vocabulary seeding is Section 3.2.”

指出 UnigramLM 的细节在这篇,词表初始化在第 3.2 节
Tokenization for language modeling: BPE vs. Unigram Language Modeling (2020)原评论 ↗
被提交为 story · 1 次