“There's already been preprints released showing fMRI reconstructions that appear to do better than an implicit multi-class classifier [1] [2].”
按年被提到
20222023 · 2 次2026
Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding
看见大脑之外:用于视觉解码的稀疏掩码建模条件扩散模型
Zijiao Chen, Jiaxin Qing, Tiange Xiang, Wan Lin Yue, Juan Helen Zhou · 2022
从 fMRI 信号重建图像的双条件潜在扩散模型 MinD-Vis
被提及 · 3 人首次 2022-11-28 · 最近 2023-05-02
3不同的人
3活跃月份
3讨论串
148被引(OpenAlex)
论文提出 MinD-Vis,用来从脑活动记录中解码视觉刺激:先受初级视觉皮层稀疏编码启发,在大的隐空间中用掩码建模学习 fMRI 数据的自监督表示,再给潜在扩散模型加上双重条件,只需很少的配对标注,就能从脑信号重建语义吻合的高度可信图像。在 100 类语义分类和生成质量(FID)上分别比此前最好方法高 66% 和 41%,并做了详尽的消融研究。
HN 为什么提它
评论者把它当作“从 fMRI 重建图像已有预印本,表现超过隐式多类分类器”的例证,并感叹“这是真的”。
方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1功能磁共振成像(fMRI)
2潜在扩散模型(latent diffusion model)
3掩码建模与自监督学习
4神经解码(neural decoding)
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立 MinD-Vis 的前置知识:Transformer 与掩码预训练、扩散模型的演进,以及潜在扩散与 CLIP 条件,再读 fMRI 视觉解码。
- 1
- 2
稀疏掩码建模借鉴了掩码语言建模的预训练思路。
读掩码预测的预训练目标,以及先预训练再微调的流程。
- 3
最早的扩散模型,给出逐步加噪与反向去噪的基本框架。
读正向扩散过程与学习反向过程的思想;跳过推导细节。
- 4
- 5
分类器引导等条件生成方式有助于理解扩散模型中条件的加入。
读引导如何在质量与多样性之间权衡;理解条件扩散的含义。
- 6
目标论文用到图文对齐的表示作为条件,CLIP 是这类表示的来源。
读对比预训练的目标与图像、文本嵌入空间的对齐。
- 7
MinD-Vis 基于潜在扩散模型,把条件加入潜空间扩散。
读在自编码器潜空间中做扩散,以及用交叉注意力加入条件。
- 8Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding
目标论文:用稀疏掩码预训练的脑信号编码器和双条件潜在扩散做视觉解码。
读fMRI 编码器的预训练、双条件的设计,以及重建图像的评测。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用PaulScotti · 2023-02
引它说明已有预印本显示 fMRI 重建优于隐式多类分类器
引用walderf · 2023-05
“this is REAL.”
在一串链接里列出它,称这是真的
被提交为 story · 1 次
- Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modelin ↗todsacerdoti · 2022-11-28 · 1 分