按年被提到
20172018 · 3 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1710.04087 · cs.CL

Word Translation Without Parallel Data

无需平行数据的词翻译
Alexis Conneau, Guillaume Lample, Marc'Aurelio Ranzato, Ludovic Denoyer, Hervé Jégou · 2017

无监督对齐两种语言的词向量空间,无需平行语料即可建双语词典

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2018-03-19 · 最近 2019-01-23发表于 International Conference on Learning Representations
3不同的人
3活跃月份
4讨论串
864被引(OpenAlex)

论文表明,可以不使用任何平行语料,仅通过无监督地对齐两种语言各自的单语词嵌入空间来建立双语词典,且不依赖字符信息。在部分语言对的跨语言任务上,该方法甚至优于现有的有监督方法,并且对英语-俄语、英语-汉语等距离较远的语言对同样有效;作者还在英语-世界语这一低资源语言对上做了实验,以展示其对完全无监督机器翻译的潜在影响。

HN 为什么提它

HN 评论者认为这是对机器学习和语言学都有深远含义的迷人结果,说明不同语言的词向量空间可以对齐,即使语法并不相似也能找出同义词。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1词嵌入(word embeddings,如 fastText)
2生成对抗网络(GAN)
3正交映射与 Procrustes 问题
4机器翻译基础

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径从词向量讲起,再看词向量空间之间的线性映射,以及支撑大规模近邻检索的工具,最后读无监督词对齐。

  1. 1
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    目标论文要对齐的就是单语词向量空间,需要先理解词向量及其几何性质。

    读CBOW 与 skip-gram 的目标,以及词向量的类比规律。

  2. 2
    Distributed Representations of Words and Phrases and their Compositionality词与短语的分布式表示及其组合性 · 2013

    负采样和降采样让 skip-gram 训练更好更快,是常用的词向量训练配置。

    读负采样与高频词降采样的设计。

  3. 3
    Bag of Tricks for Efficient Text Classification高效文本分类的技巧集:fastText · 2016

    fastText 同属常用的词向量与文本表示工具,目标论文使用其词向量。

    读fastText 的词袋加向量表示和训练方式。

  4. 4
    Exploiting Similarities among Languages for Machine Translation利用语言间的相似性做机器翻译 · 2013

    最早提出在两种语言的词向量空间之间学习线性映射,目标论文的出发点。

    读用小词典学线性映射并用于翻译词的做法。

  5. 5
    Billion-scale similarity search with GPUs基于 GPU 的十亿级相似性搜索 · 2017

    目标论文处理大规模词表时的近邻检索依赖 GPU 上的相似度搜索工具。

    读只需知道 GPU 近邻搜索如何加速检索,实现细节可略读。

  6. 6
    Word Translation Without Parallel Data无需平行数据的词翻译 · 2017 · 就是这篇

    目标论文:不用平行数据,对齐两种语言的词向量空间来建双语词典。

    读对抗训练得到初始映射,Procrustes 精炼,以及跨域相似度局部缩放(CSLS)的检索准则。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐heydenberk · 2018-08

“I continue to think this is a fascinating result which has deep implications for machine learning and for linguistics.”

称这是对 ML 和语言学都意义深远的迷人成果
Unsupervised machine translation原评论 ↗
引用yorwba · 2018-03

“It also lets you translate between languages that do not necessarily have similar grammar”

说明它能在语法不一定相似的语言之间翻译
Exploring Word2Vec原评论 ↗
引用yorwba · 2019-01

“they can identify words that mean the same in different languages [2]”

说明无需平行语料就能找出跨语言的同义词
What are the limits of deep learning?原评论 ↗
被提交为 story · 1 次