引用joelburget · 2024-07
“they say the tokenizer "encodes a 512 × 512 image into 1024 discrete tokens from a codebook of size 8192"”
引用其 tokenizer 细节:512×512 图像编码为 1024 个离散 token,码本 8192
图文都离散成 token,单一模型任意顺序理解并生成图文
Chameleon 是一族基于 token 的早期融合混合模态模型,能理解和生成任意顺序交错的图像与文本。论文给出从一开始就稳定的训练方法、对齐方案和适配早期融合设定的架构参数化;模型在图像描述上达到当时最优,文本任务超过 Llama-2、与 Mixtral 8x7B 和 Gemini-Pro 相当,并能完成一定难度的图像生成,在新的长篇混合模态生成评测中按人类判断匹敌甚至超过 Gemini Pro 和 GPT-4V 等更大模型。
评论者引用它的图像分词器细节(512×512 图像编码成 1024 个来自 8192 词表的离散 token),也有人把它当作 FAIR 早在两年前就做过的早期融合多模态模型。
“they say the tokenizer "encodes a 512 × 512 image into 1024 discrete tokens from a codebook of size 8192"”
“FAIR did this 2 years ago now:”