按年被提到
20142023 · 4 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1409.0473 · cs.CL

Neural Machine Translation by Jointly Learning to Align and Translate

通过联合学习对齐与翻译实现神经机器翻译
Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · 2014

为神经翻译引入软对齐的注意力机制,突破定长向量瓶颈

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 13 人首次 2015-01-25 · 最近 2026-07-07
13不同的人
11活跃月份
12讨论串
16,214被引(OpenAlex)

作者推测编码器-解码器把源句压成定长向量是性能瓶颈,提出让模型自动(软)搜索与当前目标词相关的源句部分,而无需显式切分。在英法翻译上,其性能与当时最好的基于短语的系统相当,且学到的软对齐符合人的直觉。

HN 为什么提它

HN 上的人把它当作注意力机制的源头,推荐想理解 Transformer 或 cross-attention 的人先读它,因为它的原始注意力更简单易懂。

奠基之作难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1循环神经网络与 LSTM/GRU
2编码器-解码器(seq2seq)架构
3机器翻译基础
4softmax 与加权平均

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解 LSTM 序列生成和编码器-解码器的结构,以及固定长度向量瓶颈,再读注意力如何解决这个问题。

  1. 1
    Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列 · 2013

    LSTM 做序列生成的基础,目标论文的编码器与解码器都基于循环网络。

    读LSTM 逐步预测与序列建模的思路;不必看手写体合成部分。

  2. 2

    提出 RNN 编码器-解码器并带来 GRU,目标论文直接在这个框架上改进。

    读编码器-解码器结构与 GRU 单元。

  3. 3
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    同期的序列到序列模型,把整句压成定长向量,正是目标论文指出的瓶颈。

    读两个 LSTM 编码再解码的结构,以及长句性能下降的现象。

  4. 4
    Neural Machine Translation by Jointly Learning to Align and Translate通过联合学习对齐与翻译实现神经机器翻译 · 2014 · 就是这篇

    目标论文:用软对齐让解码器每一步关注源句不同位置。

    读对齐模型与上下文向量的计算;双向 RNN 编码器;注意力可视化对齐图。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐aglionby · 2018-03

“most of the literature I've seen is pretty application-specific, but try [1][2] for flavour.”

推荐它作为参考,其注意力机制在翻译时对齐词语
Understanding word vectors原评论 ↗
推荐albertzeyer · 2023-12

“learn the concept of attention, specifically cross attention first. And that is this paper:”

推荐先学 attention,尤其是 cross attention,这篇就是出处
LLM Visualization原评论 ↗
引用kastnerkyle · 2015-08

“text to text translation [6]”

在应用列表中引用它,作为文本到文本翻译的例子
A Beginner’s Guide to Restricted Boltzmann Machines原评论 ↗
引用Smerity · 2016-03

“one of the earliest and coolest examples are neural attention mechanisms learning to align words between languages without any help[1]!”

拿它说明神经注意力无需监督就能学会对齐不同语言的词,是早期酷例子
Dynamic Memory Networks for Visual and Textual Question Answering原评论 ↗
引用SpaceManNabs · 2018-12

“Attention was first coined in this paper (as far as I know):”

指出 attention 一词据其所知最早在这篇论文中提出
What Kagglers Are Using for Text Classification原评论 ↗
引用alquemist · 2020-11

“a well known LSTM extension that worked well for machine translation (2014, Neural Machine Translation by Jointly Learning to Align and Translate)”

把它当作 2014 年对 LSTM 的知名扩展,在机器翻译上效果好
A Primer in BERTology: What We Know About How Bert Works原评论 ↗
看全部 11 条 →
引用gtoubassi · 2023-12

“It was really helpful to get a sense of the original 2014 concept of attention which is easier to understand but less powerful”

称它帮助理解 2014 年最初的 attention 概念,更易懂但不如现在强
LLM Visualization原评论 ↗
引用sischoel · 2023-12

“but Neural Machine Translation by Jointly Learning to Align and Translate from 2014 is a famous one.”

提到 2014 年这篇著名论文,是 attention 在神经翻译中的起点
"Attention", "Transformers", in Neural Network "Large Language Models"原评论 ↗
引用trott · 2024-10

“People did something similar to what you are describing 10 years ago: Neural Machine Translation by Jointly Learning to Align and Translate”

指出十年前就有人做过类似的事:只用翻译数据训练带对齐的神经翻译
Were RNNs all we needed?原评论 ↗
引用spindump8930 · 2025-05

“Re: Machine Translation, note that Transformers were introduced for this task, and built on one of the earlier notions of attention in sequence models: Neural Machine Translation by Jointly Learning to Align and Translate (2014, 38k citations)”

拿它说明 Transformer 是为翻译提出的,并建立在这个早期 attention 之上
When ChatGPT broke the field of NLP: An oral history原评论 ↗
引用cute_boi · 2026-07

“Neural Machine Translation by Jointly Learning to Align and Translate - Neural Machine Translation by Jointly Learning to Align and Translate”

把它列入一份 30 篇论文的阅读清单,未加评价
30papers.com – Ilya's 30 essential ML papers, in a beginner friendly format原评论 ↗
被提交为 story · 2 次