按年被提到
20202020 · 1 次2026
大模型与语言模型›词向量与预训练模型·arXiv:2012.14271 · cs.CL

Towards Fully Automated Manga Translation

迈向全自动漫画翻译
Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, Yusuke Matsui · 2020

利用漫画图像上下文,构建全自动漫画翻译系统、语料与基准

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2020-12-29 · 最近 2023-03-08
3不同的人
3活跃月份
3讨论串
29被引(OpenAlex)

论文研究日本漫画的机器翻译,涉及上下文感知和多模态翻译两个难题:漫画中文字与图像以非结构化方式混杂,必须从图像中获取上下文。作者做出四项贡献:提出首个融入漫画图像上下文的多模态上下文感知翻译框架,使得需要其他气泡文字、说话者性别等上下文才能翻译的气泡文字得以翻译;提出从原版漫画与其译本配对中自动构建大规模平行语料的方法,无需人工标注;创建新的漫画翻译评测基准;并在此基础上设计首个全面的全自动漫画翻译系统。

HN 为什么提它

HN 评论者提到它,一是作为自动化漫画翻译的预印本,思考能否迁移到游戏,二是作为直接处理文字图像的模型例子。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1神经机器翻译
2多模态学习(图像与文本)
3光学字符识别(OCR)
4平行语料与翻译评测基准

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解序列到序列翻译与注意力,再看 Transformer 和图文模型,最后读漫画翻译如何利用图像上下文。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    神经机器翻译的编码器-解码器基础。

    读用 LSTM 编码整句再解码的流程。

  2. 2
    Neural Machine Translation by Jointly Learning to Align and Translate通过联合学习对齐与翻译实现神经机器翻译 · 2014

    注意力对齐机制是现代 NMT 的核心,也是融入上下文的基础。

    读软对齐与上下文向量的计算。

  3. 3
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    本文的翻译模型建立在 Transformer 之上。

    读编码器-解码器 Transformer 的结构。

  4. 4
    Show and Tell: A Neural Image Caption GeneratorShow and Tell:神经图像描述生成器 · 2014

    图像编码加文本解码的做法,对应本文把图像信息融入翻译的多模态部分。

    读CNN 编码图像、循环网络解码文字的流程。

  5. 5
    Towards Fully Automated Manga Translation迈向全自动漫画翻译 · 2020 · 就是这篇

    目标论文:用漫画图像上下文做全自动翻译,并构建语料和基准。

    读如何从图像抽取上下文并融入 MT,以及语料与评测基准。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用mmastrac · 2021-01

“There was a pre-pub paper on automated translation of manga.”

提到有篇预印本讲漫画自动翻译,并想问能否用于游戏
Funky Fantasy IV: A Machine-Translated Video Game Experiment原评论 ↗
引用gwern · 2023-03

“(see eg PIXEL [OTHER_PAPER] or Kosmos [OTHER_PAPER] or [OTHER_PAPER] Towards Fully Automated Manga Translation [OTHER_PAPER] )”

把它与 PIXEL、Kosmos 并列为直接处理文字图像的模型例子
The Grind a Day: thousands of Apple II floppy disks archived原评论 ↗
被提交为 story · 1 次