按年被提到
20252026 · 4 次2026
大模型与语言模型›词向量与预训练模型·arXiv:2505.12540 · cs.LG

Harnessing the Universal Geometry of Embeddings

利用嵌入的通用几何结构
Rishi Jha, Collin Zhang, Vitaly Shmatikov, John X. Morris · 2025

无需配对数据即可在不同文本嵌入空间之间互译

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2025-05-20 · 最近 2026-09-06
6不同的人
6活跃月份
7讨论串
10被引(OpenAlex)

论文提出首个无需配对数据、编码器或预设匹配集的无监督方法,把文本嵌入翻译到另一个向量空间,做法是经由一个通用潜在表示中转(对应柏拉图表征假说)。翻译后在不同架构、参数量和训练数据的模型之间都保持较高的余弦相似度,同时意味着只拿到嵌入向量的攻击者也能推断出文档的敏感信息,向量数据库的安全因此受到影响。

HN 为什么提它

HN 上的人引用它说明不同模型的潜在空间存在可对齐的共同结构,以及拿到别家嵌入就可能还原其所含信息。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1文本嵌入(text embedding)与余弦相似度
2对抗训练(GAN)与循环一致性
3Transformer 架构
4柏拉图表征假说(Platonic Representation Hypothesis)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用AIorNot · 2025-12

“e.g see this paper on Universal Embeddings Harnessing the Universal Geometry of Embeddings”

举例推荐这篇关于通用嵌入的论文,文本嵌入有通用潜在结构,可跨模型转换
The universal weight subspace hypothesis原评论 ↗
引用mnky9800n · 2026-01

“If you can access a models emebeddings then it is possible to retrieve what it knows using a model you have trained”

指出只要能拿到模型的 embedding,就能用自己训练的模型取回它所知道的内容
引用observationist · 2026-03

“These, other papers, and the lottery ticket phenomenon; what it boils down to is that any neural network like system which encodes some common mapping of a phenomenon in the context of the world”

把它与其他论文和 lottery ticket 现象并列,说明嵌入共享通用几何
引用ainch · 2026-07

“some work that shows you can find a bijective map between the latent spaces of different transformers.”

引用它说明不同 transformer 的潜在空间之间可找到双射映射
Emily Bender Sets the Record Straight on "Stochastic Parrots"原评论 ↗
被提交为 story · 3 次