按年被提到
20172017 · 2 次2026
数学、逻辑与理论›数值分析与偏微分方程·arXiv:1705.08039 · cs.AI

Poincaré Embeddings for Learning Hierarchical Representations

用于学习层次表示的 Poincaré 嵌入
Maximilian Nickel, Douwe Kiela · 2017

把符号数据嵌入双曲空间的 Poincaré 球以表示层次结构

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2017-06-02 · 最近 2024-04-25
5不同的人
5活跃月份
6讨论串
667被引(OpenAlex)

文本和图等符号数据常带有潜在的层次结构,而主流嵌入方法使用欧氏空间,无法体现这一点。论文提出把符号数据嵌入双曲空间(具体为 n 维 Poincaré 球),借助双曲几何同时刻画层次和相似性,得到简约的表示,并给出基于黎曼优化的高效学习算法。实验表明在有潜在层次的数据上,Poincaré 嵌入在表示能力和泛化能力上都显著优于欧氏嵌入。

HN 为什么提它

评论者把它当作在双曲空间嵌入层次数据的经典参考论文,也有人质疑只增加维度并多训练就能用普通嵌入追平,还有人询问原文方程是否有误。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1词嵌入与表示学习
2双曲几何与 Poincaré 球
3黎曼优化(Riemannian optimization)
4层次结构数据(如 WordNet 上位词)

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先补上词向量里「嵌入加负采样」的训练套路,再读 Poincaré 嵌入如何把它搬到双曲空间来表示层次结构。

  1. 1
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    词向量嵌入的基本思路:用向量位置表示符号之间的相似关系,Poincaré 嵌入要对比的欧氏嵌入就是这一类。

    读抓 skip-gram 的目标函数和「相近的词向量相近」的直觉。

  2. 2
    Distributed Representations of Words and Phrases and their Compositionality词与短语的分布式表示及其组合性 · 2013

    负采样的训练方式被 Poincaré 嵌入的损失函数沿用。

    读看负采样目标函数的形式,对照目标论文里基于距离的 softmax 加负采样。

  3. 3
    Poincaré Embeddings for Learning Hierarchical Representations用于学习层次表示的 Poincaré 嵌入 · 2017 · 就是这篇

    目标论文:把符号数据嵌入双曲空间的 Poincaré 球以表示层次。

    读抓 Poincaré 球上的距离公式、为何双曲空间能用低维表示树状结构,以及黎曼梯度下降的优化步骤。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐boltzmannbrain · 2019-08

“The reference paper is a good read: Nickel & Kiela '17”

推荐 Nickel 和 Kiela 的这篇原始论文,值得一读
Music Recommendations in Hyperbolic Space原评论 ↗
批评VHRanger · 2024-04

“You can often easily match the performance with regular embeddings by just adding dimensions and training more.”

Quaternion Knowledge Graph Embeddings (2019)原评论 ↗
引用nishnik · 2017-10

“This paper explores Poincare disk model instead of Euclidean space for embedding hierarchical data”

介绍这篇论文用 Poincaré 圆盘模型而非欧氏空间嵌入层次数据
Show HN: Implementation of Poincaré Embeddings(Facebook Research) in Numpy原评论 ↗
引用boltzmannbrain · 2019-08

“Equations wrong in the original Poincare embeddings paper Poincaré Embeddings for Learning Hierarchical Representations ? Do you recall which?”

追问原 Poincaré 嵌入论文里哪些公式有误
Implementing Poincaré Embeddings (2017)原评论 ↗
引用andyxor · 2021-02

“from 2017 is well known in”

指出这篇 2017 年的 Poincaré 嵌入论文广为人知
Illuminating hyperbolic geometry (2015) [video]原评论 ↗
被提交为 story · 1 次