按年被提到
20222023 · 2 次2026
视觉、语音与图像生成›扩散模型·arXiv:2211.06956 · cs.CV

Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding

看见大脑之外:用于视觉解码的稀疏掩码建模条件扩散模型
Zijiao Chen, Jiaxin Qing, Tiange Xiang, Wan Lin Yue, Juan Helen Zhou · 2022

从 fMRI 信号重建图像的双条件潜在扩散模型 MinD-Vis

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-11-28 · 最近 2023-05-02
3不同的人
3活跃月份
3讨论串
148被引(OpenAlex)

论文提出 MinD-Vis,用来从脑活动记录中解码视觉刺激:先受初级视觉皮层稀疏编码启发,在大的隐空间中用掩码建模学习 fMRI 数据的自监督表示,再给潜在扩散模型加上双重条件,只需很少的配对标注,就能从脑信号重建语义吻合的高度可信图像。在 100 类语义分类和生成质量(FID)上分别比此前最好方法高 66% 和 41%,并做了详尽的消融研究。

HN 为什么提它

评论者把它当作“从 fMRI 重建图像已有预印本,表现超过隐式多类分类器”的例证,并感叹“这是真的”。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1功能磁共振成像(fMRI)
2潜在扩散模型(latent diffusion model)
3掩码建模与自监督学习
4神经解码(neural decoding)

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立 MinD-Vis 的前置知识:Transformer 与掩码预训练、扩散模型的演进,以及潜在扩散与 CLIP 条件,再读 fMRI 视觉解码。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    目标论文的 fMRI 编码器基于 Transformer 结构。

    读自注意力与编码器的基本结构。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    稀疏掩码建模借鉴了掩码语言建模的预训练思路。

    读掩码预测的预训练目标,以及先预训练再微调的流程。

  3. 3
    Deep Unsupervised Learning using Nonequilibrium Thermodynamics利用非平衡热力学的深度无监督学习 · 2015

    最早的扩散模型,给出逐步加噪与反向去噪的基本框架。

    读正向扩散过程与学习反向过程的思想;跳过推导细节。

  4. 4
    Denoising Diffusion Probabilistic Models去噪扩散概率模型 · 2020

    DDPM 让扩散模型实用化,是后续潜在扩散的基础。

    读训练目标简化为预测噪声,以及采样过程。

  5. 5
    Diffusion Models Beat GANs on Image Synthesis扩散模型在图像合成上击败 GAN · 2021

    分类器引导等条件生成方式有助于理解扩散模型中条件的加入。

    读引导如何在质量与多样性之间权衡;理解条件扩散的含义。

  6. 6
    Learning Transferable Visual Models From Natural Language Supervision从自然语言监督中学习可迁移的视觉模型 · 2021

    目标论文用到图文对齐的表示作为条件,CLIP 是这类表示的来源。

    读对比预训练的目标与图像、文本嵌入空间的对齐。

  7. 7
    High-Resolution Image Synthesis with Latent Diffusion Models基于潜在扩散模型的高分辨率图像合成 · 2021

    MinD-Vis 基于潜在扩散模型,把条件加入潜空间扩散。

    读在自编码器潜空间中做扩散,以及用交叉注意力加入条件。

  8. 8
    Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding看见大脑之外:用于视觉解码的稀疏掩码建模条件扩散模型 · 2022 · 就是这篇

    目标论文:用稀疏掩码预训练的脑信号编码器和双条件潜在扩散做视觉解码。

    读fMRI 编码器的预训练、双条件的设计,以及重建图像的评测。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用PaulScotti · 2023-02

“There's already been preprints released showing fMRI reconstructions that appear to do better than an implicit multi-class classifier [1] [2].”

引它说明已有预印本显示 fMRI 重建优于隐式多类分类器
Real-Time Brain-to-Image Reconstructions原评论 ↗
引用walderf · 2023-05

“this is REAL.”

在一串链接里列出它,称这是真的
Brain Activity Decoder Can Reveal Stories in People’s Minds原评论 ↗
被提交为 story · 1 次