按年被提到
20232023 · 9 次2026
大模型与语言模型›对话式大模型·arXiv:2302.14045 · cs.CL

Language Is Not All You Need: Aligning Perception with Language Models

语言并非一切:让感知与语言模型对齐(Kosmos-1)
Shaohan Huang, Li Dong, Wenhui Wang, Yaru Hao, Saksham Singhal, Shuming Ma, Tengchao Lv, Lei Cui, Owais Khan Mohammed, Barun Patra, Qiang Liu, Kriti Aggarwal 等 18 人 · 2023

微软 Kosmos-1:能看图、能上下文学习的多模态大语言模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2023-02-28 · 最近 2023-06-21
8不同的人
3活跃月份
9讨论串
327被引(OpenAlex)

论文提出 Kosmos-1,一个在网页规模的图文交错语料、图文对和纯文本上从零训练的多模态大语言模型(MLLM),无需梯度更新即可在零样本、少样本和多模态思维链提示下完成任务。它在语言理解与生成、OCR-free 的文档图像理解、图像描述、视觉问答和带文字说明的图像识别上都有不错表现,并表明语言与多模态之间能够互相迁移知识。论文还提出了一个 Raven IQ 测试数据集,用来考察模型的非语言推理能力。

HN 为什么提它

GPT-4 发布前后,HN 上的人拿它当例子,说明图像可以编码成向量再映射到 token 空间、与文本一起输入语言模型。

方法难度 3 / 5约 60 分钟有时效性
读之前最好知道
1Transformer 架构
2大语言模型(LLM)预训练
3视觉编码器(如 ViT、CLIP)
4上下文学习(in-context learning)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nl · 2023-03

“Check out the visual IQ test results in the paper.”

推荐看论文里的视觉 IQ 测试结果
Show HN: BBC “In Our Time”, categorised by Dewey Decimal, heavy lifting by GPT原评论 ↗
推荐benob · 2023-06

“Check the kosmos-1 paper from Microsoft that appeared a few days before GPT4 was released: Language Is Not All You Need”

推荐 Kosmos-1 论文,说明图像可作为 token 附加进输入
GPT4 is 8 x 220B params = 1.7T params原评论 ↗
引用tomp · 2023-03

“Edit: Ah, looks like this is the link to the paper: Language Is Not All You Need”

找到并贴出文章背后的 Kosmos-1 原论文链接
Microsoft Kosmos-1: A Multimodal Large Language Model原评论 ↗
引用gwern · 2023-03

“(see eg PIXEL [OTHER_PAPER] or Kosmos Language Is Not All You Need or [OTHER_PAPER] [OTHER_PAPER] [OTHER_PAPER] )”

举 Kosmos 为同时处理图像和文本的多模态模型例子
The Grind a Day: thousands of Apple II floppy disks archived原评论 ↗
引用kir-gadjello · 2023-03

“"Language Is Not All You Need: Aligning Perception with Language Models"”

列出论文标题,作为 xPos 相关来源之一
GPT-4 architecture: what we can deduce from research literature原评论 ↗
引用espadrine · 2023-03

“combine a similar encoding as that of Kosmos-1[1]”

说明自己的方案采用与 Kosmos-1 类似的图像编码
看全部 8 条 →
引用benob · 2023-03

“They probably use something similar to Kosmos-1: Encode images as vectors with something like CLIP, then map them to the token space”

推测系统类似 Kosmos-1:用 CLIP 类模型把图像编码成向量再映射到 token 空间
GPT-4 System Card [pdf]原评论 ↗
引用sdenton4 · 2023-03

“can do pretty amazing things, and (iirc) with better days efficiency than a text only model.”

提到这类多模态模型能做惊人的事,印象中数据效率可能优于纯文本模型
Understanding ChatGPT原评论 ↗
被提交为 story · 1 次