按年被提到
20162017 · 2 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1609.04938 · cs.CV

Image-to-Markup Generation with Coarse-to-Fine Attention

带粗到细注意力的图像到标记语言生成
Yuntian Deng, Anssi Kanervisto, Jeffrey Ling, Alexander M. Rush · 2016

编码器-解码器加粗到细注意力,把公式图片转成 LaTeX 标记

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2017-05-26 · 最近 2023-11-03发表于 International Conference on Machine Learning
3不同的人
3活跃月份
3讨论串
131被引(OpenAlex)

论文提出一个神经编码器-解码器模型,用可扩展的粗到细注意力把图像转换成呈现型标记(presentational markup),在图像转 LaTeX 任务上评测,并发布了真实渲染数学公式与 LaTeX 配对的新数据集。结果表明,不同于基于 CTC 的神经 OCR,注意力模型能处理这类非标准 OCR 任务,在域内渲染数据上大幅超过传统数学公式 OCR 系统,经预训练后在域外手写数据上也表现良好。粗到细注意力层先选出支持区域再做注意力,以降低推理开销。

HN 为什么提它

HN 上的人把它作为图片转 LaTeX、转 HTML 的早期工作来引用,也提到相关模型在还原原始标记时离 100% 准确还有距离。

方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1编码器-解码器(encoder-decoder)架构
2注意力机制(attention)
3卷积网络与 LSTM
4OCR 基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用tanilama · 2017-05

“The above paper shows nice result that turns image to latex expression, and image to html.”

称赞这篇论文能把图像转成 LaTeX 表达式和 HTML
Pix2code: Generating Code from a GUI Screenshot原评论 ↗
引用yorwba · 2017-12

“I'm aware of "What You Get Is What You See" [1], but they are nowhere close to 100% accuracy even for reconstructing the original markup”

指出这类图像到标记语言模型连还原原始标记都远没到 100% 准确
Accessibility Through Semantic HTML原评论 ↗
引用srush · 2023-11

“Want to give proper credit to my former student for starting this: Yuntian Deng et al., 2016.”

给前学生的 2016 年原始论文署名,它是 LaTeX OCR 工具背后的模型
Pix2tex: Using a ViT to convert images of equations into LaTeX code原评论 ↗