“The paper provides the code implementing the reversal process, so you could quickly hack together a prototype”
Text Embeddings Reveal (Almost) As Much As Text
从稠密文本嵌入中还原原文,精确恢复 92% 的 32 token 输入
论文研究嵌入反演:从稠密文本嵌入重建它所表示的完整文本,以评估嵌入泄露多少隐私信息。作者把它看成受控生成问题,即生成重新嵌入后接近潜空间中某个固定点的文本。直接以嵌入为条件的朴素模型效果很差,而反复纠正并重新嵌入文本的多步方法能精确恢复 92% 的 32 token 文本输入。作者对两个先进的嵌入模型训练了解码模型,并展示它能从临床笔记数据集中恢复全名等重要个人信息。
HN 上的人引用它说明文本嵌入并非不可逆的匿名化,只要知道所用的嵌入模型,原文往往大体可以还原,并指出论文附有代码可快速试验。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解词嵌入、Transformer 与 T5 这条编码解码主线,再看现代文本嵌入模型及其评测,才能明白从嵌入反推原文是怎么做到的。
- 1
它是稠密文本表示的起点,帮助理解嵌入把文字映射成向量究竟保留了什么。
读词向量的训练目标与向量空间中的相似性;不用细看实验。
- 2
- 3
论文的纠错式生成模型基于 T5 的文本到文本框架。
读把任务统一成文本到文本的做法,以及编码器-解码器 T5 的基本配置。
- 4
它用对比预训练得到文本嵌入,属于目标论文攻击的那一类嵌入模型。
读对比学习的训练目标与负样本构造,理解嵌入向量是怎么训练出来的。
- 5
- 6Text Embeddings Reveal (Almost) As Much As Text
有了嵌入与 T5 的背景,看如何把嵌入反演当成带控制的生成问题。
读迭代纠错再嵌入的多步方法、为什么朴素的单步条件生成效果差、对隐私的含义。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“You might be interested in”
“They are optimized to contain as much information as possible from the text they represent and can often be decoded into their input: Text Embeddings Reveal (Almost) As Much As Text”
“a paper that sheds light on this issue”
“No, the original text can largely be recovered from embeddings[0] if you know which embedding model was used.”
- Text Embeddings Reveal (Almost) as Much as Text ↗alexmolas · 2023-10-13 · 1 分