按年被提到
20182018 · 1 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1806.04510 · cs.CL

Dank Learning: Generating Memes Using Deep Neural Networks

Dank Learning:用深度神经网络生成表情包
Abel L Peirson, E Meltem Tolunay · 2018

用 Inception-v3 加注意力 LSTM,给任意图片生成幽默的表情包文字

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2018-06-13 · 最近 2024-12-14
3不同的人
3活跃月份
3讨论串
36被引(OpenAlex)

论文提出一个表情包生成系统:给定任意图片就能生成幽默且相关的配文,还可以额外以用户指定的模板标签为条件来控制内容。系统用预训练的 Inception-v3 得到图像嵌入,再交给基于注意力的深层 LSTM 生成配文(受 Show and Tell 启发),并用改进的束搜索鼓励多样性。作者用困惑度和人工评估衡量质量,结果显示生成的表情包总体上难以与真实的区分。

HN 为什么提它

HN 上有人把它当作表情包生成系统的例子,在设想大规模社交网络加自动生成内容时顺带引用。

方法难度 2 / 5约 20 分钟经得起时间
读之前最好知道
1卷积神经网络与图像嵌入
2LSTM 与图像描述(image captioning)
3束搜索(beam search)
4困惑度(perplexity)评测

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

目标论文本质上是一个 Show and Tell 式图像描述模型,这条路径先补 LSTM 编码解码的基础,再看带注意力的图像描述。

  1. 1
    Going Deeper with Convolutions用卷积走得更深 · 2014

    目标论文使用预训练的 Inception 网络提取图像嵌入,这里是 Inception 结构的起点。

    读Inception 模块的设计动机,只需知道它是图像编码器,不必深究实验。

  2. 2
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    目标论文的 LSTM 解码器沿用序列到序列的思路。

    读LSTM 编码再解码的结构以及束搜索解码。

  3. 3
    Show and Tell: A Neural Image Caption GeneratorShow and Tell:神经图像描述生成器 · 2014

    目标论文明确受 Show and Tell 启发,图像嵌入送入 LSTM 解码器生成描述。

    读CNN 编码图像、LSTM 逐词生成句子的整体结构,以及训练和束搜索的做法。

  4. 4
    Show, Attend and Tell: Neural Image Caption Generation with Visual Attention展示、注意与讲述:带视觉注意力的神经图像描述生成 · 2015

    目标论文在 LSTM 上加了注意力,思路来自这里的视觉注意力。

    读软注意力的计算方式,以及逐词可视化关注区域的做法。

  5. 5
    Dank Learning: Generating Memes Using Deep Neural NetworksDank Learning:用深度神经网络生成表情包 · 2018 · 就是这篇

    读完图像描述基础后,再看如何把它改造成带标签条件、更有多样性的表情包生成器。

    读条件标签的加入方式、改良束搜索鼓励多样性的做法,以及对表情包质量的评估方式。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用pwython · 2019-02

“Run it several billion times, create an Earth-sized social network, then give it content with a meme generation system like Dank Learning Dank Learning”

调侃把它放进地球大小的社交网络里批量生成表情包
This person does not exist原评论 ↗
被提交为 story · 2 次