“The reference paper is a good read: Nickel & Kiela '17”
Poincaré Embeddings for Learning Hierarchical Representations
把符号数据嵌入双曲空间的 Poincaré 球以表示层次结构
文本和图等符号数据常带有潜在的层次结构,而主流嵌入方法使用欧氏空间,无法体现这一点。论文提出把符号数据嵌入双曲空间(具体为 n 维 Poincaré 球),借助双曲几何同时刻画层次和相似性,得到简约的表示,并给出基于黎曼优化的高效学习算法。实验表明在有潜在层次的数据上,Poincaré 嵌入在表示能力和泛化能力上都显著优于欧氏嵌入。
评论者把它当作在双曲空间嵌入层次数据的经典参考论文,也有人质疑只增加维度并多训练就能用普通嵌入追平,还有人询问原文方程是否有误。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先补上词向量里「嵌入加负采样」的训练套路,再读 Poincaré 嵌入如何把它搬到双曲空间来表示层次结构。
- 1
词向量嵌入的基本思路:用向量位置表示符号之间的相似关系,Poincaré 嵌入要对比的欧氏嵌入就是这一类。
读抓 skip-gram 的目标函数和「相近的词向量相近」的直觉。
- 2
负采样的训练方式被 Poincaré 嵌入的损失函数沿用。
读看负采样目标函数的形式,对照目标论文里基于距离的 softmax 加负采样。
- 3Poincaré Embeddings for Learning Hierarchical Representations
目标论文:把符号数据嵌入双曲空间的 Poincaré 球以表示层次。
读抓 Poincaré 球上的距离公式、为何双曲空间能用低维表示树状结构,以及黎曼梯度下降的优化步骤。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“You can often easily match the performance with regular embeddings by just adding dimensions and training more.”
“This paper explores Poincare disk model instead of Euclidean space for embedding hierarchical data”
“Equations wrong in the original Poincare embeddings paper Poincaré Embeddings for Learning Hierarchical Representations ? Do you recall which?”
“from 2017 is well known in”
- Poincaré Embeddings for Learning Hierarchical Representations ↗melqdusy · 2017-06-02 · 4 分