“There was a pre-pub paper on automated translation of manga.”
按年被提到
20202020 · 1 次2026
Towards Fully Automated Manga Translation
迈向全自动漫画翻译
Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, Yusuke Matsui · 2020
利用漫画图像上下文,构建全自动漫画翻译系统、语料与基准
被提及 · 3 人首次 2020-12-29 · 最近 2023-03-08
3不同的人
3活跃月份
3讨论串
29被引(OpenAlex)
论文研究日本漫画的机器翻译,涉及上下文感知和多模态翻译两个难题:漫画中文字与图像以非结构化方式混杂,必须从图像中获取上下文。作者做出四项贡献:提出首个融入漫画图像上下文的多模态上下文感知翻译框架,使得需要其他气泡文字、说话者性别等上下文才能翻译的气泡文字得以翻译;提出从原版漫画与其译本配对中自动构建大规模平行语料的方法,无需人工标注;创建新的漫画翻译评测基准;并在此基础上设计首个全面的全自动漫画翻译系统。
HN 为什么提它
HN 评论者提到它,一是作为自动化漫画翻译的预印本,思考能否迁移到游戏,二是作为直接处理文字图像的模型例子。
方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1神经机器翻译
2多模态学习(图像与文本)
3光学字符识别(OCR)
4平行语料与翻译评测基准
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解序列到序列翻译与注意力,再看 Transformer 和图文模型,最后读漫画翻译如何利用图像上下文。
- 1
- 2
注意力对齐机制是现代 NMT 的核心,也是融入上下文的基础。
读软对齐与上下文向量的计算。
- 3
- 4
图像编码加文本解码的做法,对应本文把图像信息融入翻译的多模态部分。
读CNN 编码图像、循环网络解码文字的流程。
- 5Towards Fully Automated Manga Translation
目标论文:用漫画图像上下文做全自动翻译,并构建语料和基准。
读如何从图像抽取上下文并融入 MT,以及语料与评测基准。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用mmastrac · 2021-01
提到有篇预印本讲漫画自动翻译,并想问能否用于游戏
引用gwern · 2023-03
“(see eg PIXEL [OTHER_PAPER] or Kosmos [OTHER_PAPER] or [OTHER_PAPER] Towards Fully Automated Manga Translation [OTHER_PAPER] )”
把它与 PIXEL、Kosmos 并列为直接处理文字图像的模型例子
被提交为 story · 1 次
- Towards Fully Automated Manga Translation ↗polm23 · 2020-12-29 · 144 分