“IIRC that paper also introduces subword regularization which I think is really cool.”
按年被提到
20182018 · 1 次2026
Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
子词正则化:用多个子词候选改进神经网络翻译模型
Taku Kudo · 2018
训练时概率采样多种子词切分,并提出 Unigram 语言模型分词
被推荐 · 3 人首次 2018-05-03 · 最近 2025-05-30
3不同的人
3活跃月份
3讨论串
1,048被引(OpenAlex)
论文利用子词切分的歧义性作为噪声来提升神经机器翻译的鲁棒性:同一词表下一个句子有多种切分方式,训练时按概率采样多种切分来训练模型,这就是子词正则化。为了更好地采样,作者还基于 unigram 语言模型提出新的子词切分算法,在多个语料上取得一致提升,尤其是在低资源和领域外场景。
HN 为什么提它
HN 评论者主要引用它作为 UnigramLM 分词和训练时采样多种子词切分这一做法的出处,并指出其中词表初始化(vocabulary seeding)的细节。
方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1神经机器翻译(NMT)
2子词切分与 BPE(byte pair encoding)
3语言模型与 EM 算法
4正则化与数据增强
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径沿着神经机器翻译的发展:序列到序列、注意力、开放词表问题、谷歌的 wordpiece 系统,再读子词正则化。
- 1
编码器-解码器翻译模型的基本框架,目标论文的翻译实验以它为基础。
读两个 LSTM 编码与解码的结构。
- 2
NMT 中的注意力机制,目标论文所用的翻译模型采用了这类结构。
读软对齐注意力的计算方式。
- 3
讨论 NMT 的罕见词问题,是引入子词单元要解决的开放词表问题。
读固定词表导致的未登录词问题,以及它如何影响翻译质量。
- 4
谷歌的 NMT 系统使用 wordpiece 子词,是目标论文所对比的典型确定性子词切分的应用。
读wordpiece 子词单元的使用方式及其对翻译的作用。
- 5Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
目标论文:训练时概率采样多种子词切分,并提出 Unigram 语言模型分词。
读子词切分的歧义性,按概率采样切分的正则化做法,以及 Unigram 语言模型分词。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐jszymborski · 2024-02
称论文引入的子词正则化很酷
引用mcyc · 2025-05
“The details of UnigramLM are here Subword Regularization, and the part about vocabulary seeding is Section 3.2.”
指出 UnigramLM 的细节在这篇,词表初始化在第 3.2 节
被提交为 story · 1 次
- Subword Regularization: Improving Neural Network Translation Models ↗rerx · 2018-05-03 · 1 分