按年被提到
20162017 · 6 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1611.04558 · cs.CL

Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation

谷歌多语言神经机器翻译系统:实现零样本翻译
Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, Jeffrey Dean · 2016

在输入前加目标语言标记,单个模型即可多语互译并支持零样本翻译

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 11 人首次 2016-11-15 · 最近 2018-02-04
11不同的人
6活跃月份
9讨论串
1,841被引(OpenAlex)

论文提出用单个神经机器翻译(NMT)模型在多种语言之间翻译的简单方案:不改动基础系统的模型结构,只在输入句子开头加一个人工标记来指定目标语言,编码器、解码器和注意力都不变并在所有语言间共享,配合共享的 wordpiece 词表,参数量不增加。该方法常能在参数总量不变的情况下提升所有涉及语言对的翻译质量,在 WMT'14 和 WMT'15 上的若干语言对达到或超过当时最佳结果。模型还能对训练中从未直接见过的语言对做隐式桥接,表明神经翻译中迁移学习和零样本翻译是可行的,并有分析暗示模型内存在通用中间语表示。

HN 为什么提它

评论者把它当作“单个共享模型可翻译训练中从未见过的语言对”(零样本翻译、隐式桥接)的出处,也有人质疑论文对通用中间语的论证只是靠观察可视化图像。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1神经机器翻译(NMT)与编码器-解码器
2注意力机制
3wordpiece 分词
4迁移学习

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解编码器-解码器与注意力的神经翻译系统,再看谷歌如何只加一个目标语言标记就实现多语言与零样本翻译。

  1. 1

    编码器-解码器翻译框架的早期提出

    读RNN 编码器-解码器的结构与短语表示

  2. 2
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    序列到序列框架,目标论文的基础结构

    读两个 LSTM 编码再解码的整体结构

  3. 3
    Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation谷歌神经机器翻译系统:弥合人类与机器翻译之间的差距 · 2016

    目标论文直接沿用的基础系统,架构完全不变,含 wordpiece

    读8 层 LSTM 加注意力的结构与 wordpiece 分词

  4. 4

    另一种多语言翻译思路:字符级无显式分词

    读字符级建模如何跨语言共享,对比共享 wordpiece 词表

  5. 5
    Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation谷歌多语言神经机器翻译系统:实现零样本翻译 · 2016 · 就是这篇

    目标论文:加目标语言标记的多语言翻译

    读目标语言标记的做法,以及零样本翻译的结果

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评YeGoblynQueenne · 2018-02

“They just look at some pretty images and interpret them to say that it does.”

The Shallowness of Google Translate原评论 ↗
引用Smerity · 2016-11

“Just this week a new paper[1] was released using the GNMT architecture which teaches a machine translation system how to translate between language pairs it has never been taught before by using bridging from other language pair knowledge.”

介绍用 GNMT 架构借助其他语言对知识实现从未学过的语言对翻译
Peeking into the architecture used for Google's Neural Machine Translation原评论 ↗
引用vonnik · 2017-01

“Deep learning is part of enormous advances in NLP[0], just as it has set records to accuracy in almost every field of machine perception, from vision to audio.”

引用它作为深度学习推动 NLP 进步的证据
Why Deep Learning Cannot Be Applied to Natural Languages Easily原评论 ↗
引用ma2rten · 2017-01

“Google published a paper that explains exactly what they are doing and provides metrics as well [1,2].”

指出谷歌已发表论文,详细说明做法并给出指标
Why Deep Learning Cannot Be Applied to Natural Languages Easily原评论 ↗
引用nl · 2017-01

“their neural translation system has state-of-the-art performance for both English->German and German->English at least[1].”

引用它说明谷歌神经翻译在英德互译上达到 state-of-the-art
Why Deep Learning Cannot Be Applied to Natural Languages Easily原评论 ↗
引用aspenmayer · 2017-03

“I admittedly understand very little about ML and how Google is using it in Translate, but this seems relevant.”

坦言不太懂,觉得单个模型翻译没见过的语言对与此相关
Basque and Georgian – are they related? (2015)原评论 ↗
看全部 7 条 →
引用iraphael · 2017-07

“This very misguided article seems to be a complete misunderstanding of two papers: [OTHER_PAPER] and Google's Multilingual Neural Machine Translation System”

批评某文章严重误解了这篇论文和另一篇论文
Researchers shut down AI that invented its own language原评论 ↗
被提交为 story · 4 次