“I think neural machine translation [0] and the fact that schemes including RNNs just won M4 [1] indicate that this is incorrect.”
按年被提到
20182018 · 3 次2026
The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation
两全其美:结合神经机器翻译的最新进展
Mia Xu Chen, Orhan Firat, Ankur Bapna, Melvin Johnson, Wolfgang Macherey, George Foster, Llion Jones, Niki Parmar, Mike Schuster, Zhifeng Chen, Yonghui Wu, Macduff Hughes · 2018
把 Transformer 的训练技巧移植到 RNN,得到 RNMT+ 与混合架构
被提及 · 3 人首次 2018-05-02 · 最近 2025-02-04
3不同的人
4活跃月份
4讨论串
443被引(OpenAlex)
论文指出 RNN、卷积 seq2seq 和 Transformer 三种架构各自附带一套建模与训练技巧,原则上可用于其他架构。作者先把关键技巧用到 RNN 上,得到在 WMT'14 英法、英德任务上超过三种基础架构的 RNMT+ 模型;再分析各架构的特性,设计结合各自优点的混合架构,在两个基准上进一步超过 RNMT+。
HN 为什么提它
HN 上的人用它说明神经机器翻译能很好处理变长序列,也用它指出 RNN 经改进后性能可与 Transformer 相当甚至更好、训练更稳定且更易并行。
方法难度 4 / 5约 45 分钟有时效性
读之前最好知道
1序列到序列(seq2seq)模型
2Transformer 架构
3RNN 与 LSTM
4机器翻译评测(BLEU)
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径回顾基于 LSTM 的序列到序列翻译和谷歌的 GNMT,再补上残差连接与 dropout 等训练技术,用来理解 RNMT+ 如何借鉴新架构的技巧。
- 1
- 2
RNMT+ 要改进的 RNN 翻译系统,是直接的基线。
读8 层 LSTM、注意力、残差连接和训练设置,系统级的细节。
- 3
- 4
目标论文把一批正则和训练技巧用到 RNN 上,dropout 是其中的基础。
读dropout 的做法与效果。
- 5The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation
目标论文:把 Transformer 的训练技巧移植到 RNN,得到 RNMT+ 与混合架构。
读RNMT+ 的改动、各种技巧的消融,以及混合架构。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用nmca · 2018-06
以神经机器翻译和 RNN 赢得 M4 为据,反驳对方的说法
引用albertzeyer · 2018-10
“This paper now shows that you can get similar or better performance with RNNs, while training is more stable and can be parallelized more easily”
指出论文表明 RNN 能达到相近或更好性能,且训练更稳定、更易并行
引用albertzeyer · 2025-02
“E.g. from The Best of Both Worlds:”
引用这篇论文源文件里被注释掉的 LaTeX 备选标题
被提交为 story · 1 次
- The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation ↗rerx · 2018-05-02 · 3 分