引用tanilama · 2017-05
“The above paper shows nice result that turns image to latex expression, and image to html.”
称赞这篇论文能把图像转成 LaTeX 表达式和 HTML
编码器-解码器加粗到细注意力,把公式图片转成 LaTeX 标记
论文提出一个神经编码器-解码器模型,用可扩展的粗到细注意力把图像转换成呈现型标记(presentational markup),在图像转 LaTeX 任务上评测,并发布了真实渲染数学公式与 LaTeX 配对的新数据集。结果表明,不同于基于 CTC 的神经 OCR,注意力模型能处理这类非标准 OCR 任务,在域内渲染数据上大幅超过传统数学公式 OCR 系统,经预训练后在域外手写数据上也表现良好。粗到细注意力层先选出支持区域再做注意力,以降低推理开销。
HN 上的人把它作为图片转 LaTeX、转 HTML 的早期工作来引用,也提到相关模型在还原原始标记时离 100% 准确还有距离。
“The above paper shows nice result that turns image to latex expression, and image to html.”
“I'm aware of "What You Get Is What You See" [1], but they are nowhere close to 100% accuracy even for reconstructing the original markup”
“Want to give proper credit to my former student for starting this: Yuntian Deng et al., 2016.”