按年被提到
20242024 · 5 次2026
大模型与语言模型›对话式大模型·arXiv:2405.09818 · cs.CL

Chameleon: Mixed-Modal Early-Fusion Foundation Models

Chameleon:混合模态早期融合基础模型
Chameleon Team · 2024

图文都离散成 token,单一模型任意顺序理解并生成图文

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2024-05-17 · 最近 2026-06-03
6不同的人
3活跃月份
6讨论串
145被引(OpenAlex)

Chameleon 是一族基于 token 的早期融合混合模态模型,能理解和生成任意顺序交错的图像与文本。论文给出从一开始就稳定的训练方法、对齐方案和适配早期融合设定的架构参数化;模型在图像描述上达到当时最优,文本任务超过 Llama-2、与 Mixtral 8x7B 和 Gemini-Pro 相当,并能完成一定难度的图像生成,在新的长篇混合模态生成评测中按人类判断匹敌甚至超过 Gemini Pro 和 GPT-4V 等更大模型。

HN 为什么提它

评论者引用它的图像分词器细节(512×512 图像编码成 1024 个来自 8192 词表的离散 token),也有人把它当作 FAIR 早在两年前就做过的早期融合多模态模型。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 与自回归语言模型
2图像离散化(tokenizer 与 codebook)
3多模态任务(VQA、图像描述)
4大模型训练稳定性与对齐

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用joelburget · 2024-07

“they say the tokenizer "encodes a 512 × 512 image into 1024 discrete tokens from a codebook of size 8192"”

引用其 tokenizer 细节:512×512 图像编码为 1024 个离散 token,码本 8192
Vision language models are blind原评论 ↗
引用spott · 2026-06

“FAIR did this 2 years ago now:”

指出 FAIR 两年前就做过这类早期融合多模态模型
Gemma 4 12B: A unified, encoder-free multimodal model原评论 ↗
被提交为 story · 4 次