按年被提到
20132015 · 2 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:1309.4168 · cs.CL

Exploiting Similarities among Languages for Machine Translation

利用语言间的相似性做机器翻译
Tomas Mikolov, Quoc V. Le, Ilya Sutskever · 2013

在两种语言的词向量空间间学习线性映射,自动扩充词典

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2013-10-04 · 最近 2017-03-02
4不同的人
4活跃月份
4讨论串
1,350被引(OpenAlex)

提出自动生成并扩充词典和短语表的方法:用大规模单语数据学习词的分布式表示,再用少量双语数据学习两种语言向量空间之间的线性映射,借此翻译缺失的词和短语。方法虽简单但很有效,英语与西班牙语之间的词翻译 precision@5 接近 90%,且对语言几乎不作假设,可用于任何语言对。

HN 为什么提它

HN 上的人引用它来说明语言可以放进向量空间,并可用双语词典学习两种语言词向量之间的线性映射,其第 2 页的二维图很直观。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1词向量(word2vec)
2线性代数(线性映射)
3统计机器翻译基础(词典与短语表)
4最近邻检索与 precision@k

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解神经词向量的来由,再读目标论文如何在两种语言的向量空间之间学习线性映射。

  1. 1
    Natural Language Processing (almost) from Scratch几乎从零开始的自然语言处理 · 2011

    较早用神经网络学词的分布式表示,是词向量研究的背景

    读词嵌入作为通用特征的思路;不必细看各任务

  2. 2
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    目标论文直接使用这里的 CBOW 与 skip-gram 词向量

    读两种模型的训练目标,以及词向量里的线性结构(如类比)

  3. 3
    Exploiting Similarities among Languages for Machine Translation利用语言间的相似性做机器翻译 · 2013 · 就是这篇

    目标论文:在两种语言的词向量空间间学习线性映射来扩充词典

    读线性映射的训练方式、用 precision@5 评测,以及对短语与词典扩展的结果

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐Smerity · 2015-06

“page 2 has an intuitive 2D graphical representation Exploiting Similarities among Languages for Machine Translation”

推荐第 2 页的二维图示,直观展示语言向量空间的线性映射
Abstractions my Deep Learning word2vec model made原评论 ↗
引用eadlam · 2013-10

“Wait, didn't Mikolov et al. (Google) [just figure out][1] how to put entire languages into vector spaces?”

提到 Mikolov 等人把整门语言映射进向量空间的方法
Stanford researchers to open source model they say has nailed sentiment analysis原评论 ↗
引用exgrv · 2017-03

“If you have a bilingual dictionary, you might try to learn a linear mapping from one language to the other (e.g. see Exploiting Similarities among Languages for Machine Translation for this approach).”

有双语词典时,可借它学习两种语言词向量间的线性映射
Facebook releases 300-dimensional pretrained Fasttext vectors for 90 languages原评论 ↗
被提交为 story · 1 次