“The method is straightforward to extend to n-grams, this is actually what they do (see table 1 in Phrase-Based & Neural Unsupervised Machine Translation).”
按年被提到
20182018 · 4 次2026
Phrase-Based & Neural Unsupervised Machine Translation
基于短语与神经的无监督机器翻译
Guillaume Lample, Myle Ott, Alexis Conneau, Ludovic Denoyer, Marc'Aurelio Ranzato · 2018
只用单语语料、不用任何平行句对训练机器翻译
被提及 · 4 人首次 2018-08-15 · 最近 2018-10-01
4不同的人
3活跃月份
4讨论串
647被引(OpenAlex)
研究只有每种语言的大规模单语语料、没有平行句子时如何学习翻译。提出神经和基于短语两种模型,都依靠仔细的参数初始化、语言模型的去噪作用和迭代回译自动生成平行数据,明显优于文献中的方法,同时更简单、超参数更少。在 WMT'14 英法和 WMT'16 德英上,不使用任何平行句对分别得到 28.1 和 25.2 BLEU,比当时最优高出 11 个 BLEU 以上;在英乌尔都语、英罗马尼亚语等低资源语言上也优于半监督和监督方法。
HN 为什么提它
评论者引用它说明词嵌入方法可以直接扩展到 n-gram,论文的表 1 就是这么做的。
方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1机器翻译(神经翻译与短语翻译)
2回译(back-translation)与去噪自编码
3词嵌入与跨语言嵌入
4BLEU 评测指标
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径依次建立词向量、序列到序列加注意力的 NMT、Transformer,再到无平行数据的词对齐,最后看目标论文如何把它们合成无监督机器翻译。
- 1
词向量是无监督翻译中初始化和跨语言对齐的基础。
读Skip-gram 与 CBOW 的目标,以及词向量空间中的线性类比结构;这是后面跨语言映射的出发点。
- 2
编码器-解码器的序列到序列框架,是目标论文神经模型的基本形式。
读两个 LSTM 编码再解码的结构,以及端到端翻译的训练目标。
- 3
注意力机制让解码器软对齐源句,是目标论文所用神经翻译模型的组成部分。
读第 3 节的对齐模型:如何对源端隐状态加权求和得到上下文向量。
- 4
- 5
无需平行数据对齐两种语言的词向量,是目标论文中「careful initialization」的来源。
读对抗训练加 Procrustes 精炼得到跨语言词映射,以及如何据此建双语词典。
- 6Phrase-Based & Neural Unsupervised Machine Translation
目标论文:用单语语料、语言模型去噪和迭代回译训练神经与短语两种翻译模型。
读初始化、去噪语言模型、迭代回译三个原则,以及两种模型变体如何统一实现。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用guismay · 2018-09
说明方法可扩展到 n-gram,论文表 1 就是这么做的
被提交为 story · 3 次
- Phrase-Based and Neural Unsupervised Machine Translation [pdf] ↗stablemap · 2018-08-15 · 1 分
- Phrase-Based and Neural Unsupervised Machine Translation ↗alok-g · 2018-09-03 · 2 分
- Phrase-Based and Neural Unsupervised Machine Translation ↗godelmachine · 2018-10-01 · 3 分