按年被提到
20182018 · 4 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1804.07755 · cs.CL

Phrase-Based & Neural Unsupervised Machine Translation

基于短语与神经的无监督机器翻译
Guillaume Lample, Myle Ott, Alexis Conneau, Ludovic Denoyer, Marc'Aurelio Ranzato · 2018

只用单语语料、不用任何平行句对训练机器翻译

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2018-08-15 · 最近 2018-10-01
4不同的人
3活跃月份
4讨论串
647被引(OpenAlex)

研究只有每种语言的大规模单语语料、没有平行句子时如何学习翻译。提出神经和基于短语两种模型,都依靠仔细的参数初始化、语言模型的去噪作用和迭代回译自动生成平行数据,明显优于文献中的方法,同时更简单、超参数更少。在 WMT'14 英法和 WMT'16 德英上,不使用任何平行句对分别得到 28.1 和 25.2 BLEU,比当时最优高出 11 个 BLEU 以上;在英乌尔都语、英罗马尼亚语等低资源语言上也优于半监督和监督方法。

HN 为什么提它

评论者引用它说明词嵌入方法可以直接扩展到 n-gram,论文的表 1 就是这么做的。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1机器翻译(神经翻译与短语翻译)
2回译(back-translation)与去噪自编码
3词嵌入与跨语言嵌入
4BLEU 评测指标

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径依次建立词向量、序列到序列加注意力的 NMT、Transformer,再到无平行数据的词对齐,最后看目标论文如何把它们合成无监督机器翻译。

  1. 1
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    词向量是无监督翻译中初始化和跨语言对齐的基础。

    读Skip-gram 与 CBOW 的目标,以及词向量空间中的线性类比结构;这是后面跨语言映射的出发点。

  2. 2
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    编码器-解码器的序列到序列框架,是目标论文神经模型的基本形式。

    读两个 LSTM 编码再解码的结构,以及端到端翻译的训练目标。

  3. 3
    Neural Machine Translation by Jointly Learning to Align and Translate通过联合学习对齐与翻译实现神经机器翻译 · 2014

    注意力机制让解码器软对齐源句,是目标论文所用神经翻译模型的组成部分。

    读第 3 节的对齐模型:如何对源端隐状态加权求和得到上下文向量。

  4. 4
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    目标论文的神经版本采用 Transformer 作为编码器和解码器。

    读多头注意力与编码器-解码器整体结构;位置编码可略读,实验部分跳过。

  5. 5
    Word Translation Without Parallel Data无需平行数据的词翻译 · 2017

    无需平行数据对齐两种语言的词向量,是目标论文中「careful initialization」的来源。

    读对抗训练加 Procrustes 精炼得到跨语言词映射,以及如何据此建双语词典。

  6. 6
    Phrase-Based & Neural Unsupervised Machine Translation基于短语与神经的无监督机器翻译 · 2018 · 就是这篇

    目标论文:用单语语料、语言模型去噪和迭代回译训练神经与短语两种翻译模型。

    读初始化、去噪语言模型、迭代回译三个原则,以及两种模型变体如何统一实现。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用guismay · 2018-09

“The method is straightforward to extend to n-grams, this is actually what they do (see table 1 in Phrase-Based & Neural Unsupervised Machine Translation).”

说明方法可扩展到 n-gram,论文表 1 就是这么做的
Unsupervised machine translation原评论 ↗
被提交为 story · 3 次