按年被提到
20182018 · 3 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1804.09849 · cs.CL

The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation

两全其美:结合神经机器翻译的最新进展
Mia Xu Chen, Orhan Firat, Ankur Bapna, Melvin Johnson, Wolfgang Macherey, George Foster, Llion Jones, Niki Parmar, Mike Schuster, Zhifeng Chen, Yonghui Wu, Macduff Hughes · 2018

把 Transformer 的训练技巧移植到 RNN,得到 RNMT+ 与混合架构

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2018-05-02 · 最近 2025-02-04
3不同的人
4活跃月份
4讨论串
443被引(OpenAlex)

论文指出 RNN、卷积 seq2seq 和 Transformer 三种架构各自附带一套建模与训练技巧,原则上可用于其他架构。作者先把关键技巧用到 RNN 上,得到在 WMT'14 英法、英德任务上超过三种基础架构的 RNMT+ 模型;再分析各架构的特性,设计结合各自优点的混合架构,在两个基准上进一步超过 RNMT+。

HN 为什么提它

HN 上的人用它说明神经机器翻译能很好处理变长序列,也用它指出 RNN 经改进后性能可与 Transformer 相当甚至更好、训练更稳定且更易并行。

方法难度 4 / 5约 45 分钟有时效性
读之前最好知道
1序列到序列(seq2seq)模型
2Transformer 架构
3RNN 与 LSTM
4机器翻译评测(BLEU)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径回顾基于 LSTM 的序列到序列翻译和谷歌的 GNMT,再补上残差连接与 dropout 等训练技术,用来理解 RNMT+ 如何借鉴新架构的技巧。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    编码器-解码器的基本框架,RNN 翻译模型的出发点。

    读两个 LSTM 编码再解码的结构。

  2. 2
    Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation谷歌神经机器翻译系统:弥合人类与机器翻译之间的差距 · 2016

    RNMT+ 要改进的 RNN 翻译系统,是直接的基线。

    读8 层 LSTM、注意力、残差连接和训练设置,系统级的细节。

  3. 3
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    深层翻译网络依赖残差连接,目标论文也使用它。

    读残差连接解决深层网络训练困难的方式。

  4. 4
    Improving neural networks by preventing co-adaptation of feature detectors通过防止特征检测器的共适应来改进神经网络 · 2012

    目标论文把一批正则和训练技巧用到 RNN 上,dropout 是其中的基础。

    读dropout 的做法与效果。

  5. 5
    The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation两全其美:结合神经机器翻译的最新进展 · 2018 · 就是这篇

    目标论文:把 Transformer 的训练技巧移植到 RNN,得到 RNMT+ 与混合架构。

    读RNMT+ 的改动、各种技巧的消融,以及混合架构。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nmca · 2018-06

“I think neural machine translation [0] and the fact that schemes including RNNs just won M4 [1] indicate that this is incorrect.”

以神经机器翻译和 RNN 赢得 M4 为据,反驳对方的说法
Ted Nelson struggles with uncomprehending radio interviewer (1979) [audio]原评论 ↗
引用albertzeyer · 2018-10

“This paper now shows that you can get similar or better performance with RNNs, while training is more stable and can be parallelized more easily”

指出论文表明 RNN 能达到相近或更好性能,且训练更稳定、更易并行
Transformer: A Neural Network Architecture for Language Understanding (2017)原评论 ↗
引用albertzeyer · 2025-02

“E.g. from The Best of Both Worlds:”

引用这篇论文源文件里被注释掉的 LaTeX 备选标题
ArXiv LaTeX Cleaner: Clean the LaTeX code of your paper to submit to ArXiv原评论 ↗
被提交为 story · 1 次