“I continue to think this is a fascinating result which has deep implications for machine learning and for linguistics.”
Word Translation Without Parallel Data
无监督对齐两种语言的词向量空间,无需平行语料即可建双语词典
论文表明,可以不使用任何平行语料,仅通过无监督地对齐两种语言各自的单语词嵌入空间来建立双语词典,且不依赖字符信息。在部分语言对的跨语言任务上,该方法甚至优于现有的有监督方法,并且对英语-俄语、英语-汉语等距离较远的语言对同样有效;作者还在英语-世界语这一低资源语言对上做了实验,以展示其对完全无监督机器翻译的潜在影响。
HN 评论者认为这是对机器学习和语言学都有深远含义的迷人结果,说明不同语言的词向量空间可以对齐,即使语法并不相似也能找出同义词。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径从词向量讲起,再看词向量空间之间的线性映射,以及支撑大规模近邻检索的工具,最后读无监督词对齐。
- 1
目标论文要对齐的就是单语词向量空间,需要先理解词向量及其几何性质。
读CBOW 与 skip-gram 的目标,以及词向量的类比规律。
- 2
负采样和降采样让 skip-gram 训练更好更快,是常用的词向量训练配置。
读负采样与高频词降采样的设计。
- 3
fastText 同属常用的词向量与文本表示工具,目标论文使用其词向量。
读fastText 的词袋加向量表示和训练方式。
- 4
最早提出在两种语言的词向量空间之间学习线性映射,目标论文的出发点。
读用小词典学线性映射并用于翻译词的做法。
- 5
目标论文处理大规模词表时的近邻检索依赖 GPU 上的相似度搜索工具。
读只需知道 GPU 近邻搜索如何加速检索,实现细节可略读。
- 6Word Translation Without Parallel Data
目标论文:不用平行数据,对齐两种语言的词向量空间来建双语词典。
读对抗训练得到初始映射,Procrustes 精炼,以及跨域相似度局部缩放(CSLS)的检索准则。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“It also lets you translate between languages that do not necessarily have similar grammar”
“they can identify words that mean the same in different languages [2]”
- Word Translation Without Parallel Data ↗kawera · 2018-03-19 · 2 分