按年被提到
20222023 · 3 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:2212.10562 · cs.CL

Character-Aware Models Improve Visual Text Rendering

字符感知模型改进视觉文本渲染
Rosanne Liu, Dan Garrette, Chitwan Saharia, William Chan, Adam Roberts, Sharan Narang, Irina Blok, RJ Mical, Mohammad Norouzi, Noah Constant · 2022

给文本编码器加入字符级信息,让图像生成模型能拼对文字

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2022-12-22 · 最近 2024-03-17发表于 Proceedings of the conference - Association for Computational Linguistics. Meeting
5不同的人
4活跃月份
5讨论串
31被引(OpenAlex)

当前图像生成模型很难可靠地生成格式正确的文字。论文探究一个关键因素:主流文本到图像模型缺乏字符级输入特征,难以把一个词的视觉形态预测为一串字形。为量化这一影响,作者比较字符感知与字符盲的文本编码器:纯文本领域里,字符感知模型在新的拼写任务 WikiSpell 上增益很大;应用到视觉领域,训练一组图像生成模型,字符感知版本在他们的 DrawText 基准各项文本渲染任务上都优于字符盲版本,在罕见词上比竞争者高出 30 多个点的准确率,而训练样本少得多。

HN 为什么提它

HN 评论者引用它来解释图像生成模型为什么拼不对字:问题多半出在文本编码器的分词上,换成字节级模型(如 ByT5)就能明显改善拼写。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1文本到图像扩散模型
2分词(tokenization)与字节级模型
3文本编码器(T5 / ByT5)
4拼写与字形渲染任务

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ebalit · 2023-02

“This paper [1] shows that giving character-level awareness to the model can improve the "visual spelling".”

引它说明给模型字符级感知能改善“视觉拼写”
Illusion Diffusion: Optical Illusions Using Stable Diffusion原评论 ↗
引用woadwarrior01 · 2023-04

“I read a recent paper[2] that found that replacing token based text encoders in text to image models with these byte level models improves the spelling abilities of the txt2img models”

提到近期论文发现用字节级编码器替换文生图模型中基于 token 的文本编码器,拼写更好
A Baby GPT原评论 ↗
引用radq · 2023-04

“It is most likely due to the text encoder”

认为问题多半出在文本编码器,字符感知编码器能改善图像模型的文字渲染
Stability AI releases DeepFloyd IF, a powerful text-to-image model原评论 ↗
引用gwern · 2024-03

“it can be experimentally established by swapping out even a very large LLM like PaLM for a humble, small, weak, but not badly-tokenized ByT5 and noting instant solution of the 'problem'.”

引它实验说明把大 LLM 换成分词更好的小模型 ByT5,拼写问题立刻解决
Ask HN: Why can't image generation models spell?原评论 ↗
引用gwern · 2024-03

“Yes, this is the 'miracle of spelling' (as Character-Aware Models Improve Visual Text Rendering calls it)”

同意这就是该论文所称的“拼写奇迹”,大模型尽管有分词也能拼出一些词
Ask HN: Why can't image generation models spell?原评论 ↗
被提交为 story · 1 次