按年被提到
20222023 · 4 次2026
视觉、语音与图像生成›视觉语言与自监督表征·arXiv:2209.15162 · cs.CL

Linearly Mapping from Image to Text Space

从图像空间到文本空间的线性映射
Jack Merullo, Louis Castricato, Carsten Eickhoff, Ellie Pavlick · 2022

单个线性映射就能把视觉特征接入冻结的语言模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2022-10-07 · 最近 2023-12-07
3不同的人
4活跃月份
5讨论串
48被引(OpenAlex)

论文检验一个较强的假设:冻结的纯文本语言模型与纯视觉模型学到的概念表示足够相似,只需一个线性映射就能连接。做法是只训练一层线性投影,把视觉模型的图像表示作为连续提示输入冻结的语言模型,在图像描述和视觉问答上与同时微调图像编码器和文本解码器的模型(如 MAGMA)相比有竞争力。对 BEIT、NF-ResNet、CLIP 三种编码器的比较表明,它们传递视觉属性信息的效果相当,但带语言监督的编码器更能凸显类别信息,因此在基准上明显更好。

HN 为什么提它

评论者用它说明语言模型与视觉模型的表征出人意料地相似,只需一层线性投影就能把二者连起来。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 与语言模型
2视觉编码器(如 CLIP、BEIT)
3连续提示(continuous prompts)
4图像描述与视觉问答(VQA)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐og_kalu · 2023-04

“There's something a bit more mindblowing than that.”

推荐它,说比这更令人震惊:语言与视觉模型表示相似,线性映射就够
Latent Diffusion Models Are Zero-Shot Speech and Singing Synthesizers原评论 ↗
引用visarga · 2022-10

“But there are interesting results from just a few days ago saying that text by itself is also enough:”

引它说明一个线性映射就能把视觉特征接到冻结的语言模型
The AI Scaling Hypothesis原评论 ↗
引用og_kalu · 2023-04

“Just found this paper that demonstrated this a few months ago”

引它说明语言与视觉模型共享表示,线性投影就够
MiniGPT-4原评论 ↗
引用JoshuaDavid · 2023-06

“I've been reading some stuff[1][2][3] about smaller models, and my impression has been that the latent space is shockingly linear for those ones.”

引它说明自己的印象:小模型的潜空间出奇地线性
Ask HN: How do you stay on top of advances in AI?原评论 ↗
引用og_kalu · 2023-12

“You can connect linguistic and visual models with a single linear projection layer. That's it.”

引它说明一个线性投影层就能连接语言模型和视觉模型
Vowels and Diphthongs in Sperm Whales原评论 ↗