按年被提到
20142015 · 2 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1409.3215 · cs.CL

Sequence to Sequence Learning with Neural Networks

用神经网络进行序列到序列学习
Ilya Sutskever, Oriol Vinyals, Quoc V. Le · 2014

用两个 LSTM 编码再解码,实现端到端序列映射

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2015-01-15 · 最近 2025-04-30
8不同的人
9活跃月份
9讨论串
17,279被引(OpenAlex)

论文提出一种对序列结构几乎不做假设的端到端序列学习方法:用多层 LSTM 把输入序列映射成固定维度的向量,再用另一个深度 LSTM 从该向量解码出目标序列。在 WMT'14 英法翻译上,LSTM 的 BLEU 为 34.8,高于短语式 SMT 系统的 33.3;用 LSTM 对 SMT 的 1000 个候选重排后升到 36.5。把源句的词序反转(目标句不反转)会明显改善效果,因为这引入了许多源与目标之间的短期依赖,使优化更容易。

HN 为什么提它

评论者把它当作神经机器翻译和「思想向量」的奠基论文反复引用,用来解释用固定向量编码整句、输入反转技巧,也提到它早于 OpenAI 成立。

奠基之作难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1循环神经网络与 LSTM
2编码器-解码器框架
3机器翻译与 BLEU
4反向传播与随时间反向传播

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你先理解用 LSTM 逐步生成序列,以及循环网络做编码器-解码器的早期尝试,再读 seq2seq。

  1. 1
    Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列 · 2013

    seq2seq 的解码器就是 LSTM 逐步预测下一个符号的生成过程,来自这里的做法。

    读LSTM 如何逐点预测并生成序列;next-step prediction 的训练方式。

  2. 2

    几乎同期提出的 RNN 编码器-解码器,把输入压成定长向量再解码,与 seq2seq 思路平行。

    读编码器-解码器结构及其用于短语表示的做法;与 seq2seq 对比二者的差别。

  3. 3
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014 · 就是这篇

    用深层 LSTM 编码再解码,把端到端序列到序列学习推到机器翻译上。

    读整体模型结构、反转源句的技巧,以及翻译任务的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐aglionby · 2018-03

“most of the literature I've seen is pretty application-specific, but try [1][2] for flavour.”

推荐它作为参考,seq2seq 用 LSTM 把句子编码成定长向量
Understanding word vectors原评论 ↗
引用ogrisel · 2015-01

“New neural machine translation architectures are experimenting with pairs of neural encoders / decoders,”

引用编码器解码器翻译架构,认为两种语言共享与语言无关的语义空间
New, more powerful Google Translate app原评论 ↗
引用deepnet · 2015-08

“which allows whole sentences to be digested and translated.”

拿它说明整句可被消化并翻译,WMT14 英法 BLEU 达 34.8
Exploiting Similarities Among Languages for Machine Translation (2013)原评论 ↗
引用nl · 2016-05

“Seq2seq as an approach does achieve close to state-of-the-art for translation[1].”

指出 seq2seq 的翻译质量接近当时最优水平
My path to OpenAI原评论 ↗
引用deepnet · 2017-07

“[2] The paper Geoff Hinton is reffering to: Sequence to Sequence Learning with Neural Networks by Ilya Sutskever, Oriol Vinyals, Quoc V. Le Sequence to Sequence Learning with Neural Networks”

指出这就是 Hinton 所说的论文,用来说明 thought vectors
When not to use deep learning原评论 ↗
引用std_badalloc · 2020-12

“I think it was with the seq2seq paper of Sutskever, Vinyals and Le in 2014:”

指出这一转变始于 2014 年 Sutskever 等的 seq2seq 论文
AlphaFold: a solution to a 50-year-old grand challenge in biology原评论 ↗
看全部 9 条 →
引用danieldk · 2023-06

“The encoder encoded the input as a single vector and the decoder would decode this into a sentence (eg. for machine translation) [1].”

解释 seq2seq:编码器把输入编成单个向量,解码器再解码成句子
What Are Embeddings?原评论 ↗
引用smoldesu · 2023-10

“Failing that, Seq2seq predates OpenAI's incorporation:”

指出 seq2seq 的出现早于 OpenAI 成立
Ask HN: Why is OpenAI still called OpenAI?原评论 ↗
引用bob1029 · 2025-04

“So, you might try doing something like reversing the input to force learning to take a less crappy path [0].”

建议借鉴其中把输入反转的技巧,迫使学习走更好的路径
The Leaderboard Illusion原评论 ↗