按年被提到
20192020 · 2 次2026
视觉、语音与图像生成›生成对抗网络·arXiv:1912.03263 · cs.LG

Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One

你的分类器其实是个能量模型,应当这样对待它
Will Grathwohl, Kuan-Chieh Wang, Jörn-Henrik Jacobsen, David Duvenaud, Mohammad Norouzi, Kevin Swersky · 2019

把分类器重新解读为联合分布的能量模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2020-09-03 · 最近 2025-02-20
5不同的人
4活跃月份
6讨论串
252被引(OpenAlex)

把标准判别式分类器 p(y|x) 重新解释为联合分布 p(x,y) 的能量模型(EBM),由此可同时得到类别概率以及未归一化的 p(x) 和 p(x|y),也能用无标签数据训练。作者改进了能量模型的训练技术,报告该方法能改善校准、鲁棒性和分布外检测,同时生成质量可与当时的 GAN 相当,额外训练开销不大。

HN 为什么提它

评论者拿它说明分类器本质上可看作能量模型(softmax 与 log-sum-exp 的联系),也用来讨论神经网络置信度为何不可靠,以及 GAN 只是训练方法而非架构。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1能量模型(energy-based model)
2softmax 与 log-sum-exp
3生成模型基础(GAN、MCMC 采样)
4模型校准与分布外检测

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径涵盖现代分类器的架构、校准、对抗鲁棒性和 GAN 生成评测,对应 JEM 声称的几项改进。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    残差网络是基本的分类器架构,JEM 的网络基于这类结构。

    读抓残差块的结构。

  2. 2

    Wide ResNet 是 CIFAR 上常用的标准架构,JEM 的实验以它为主干。

    读抓加宽残差网络相对加深的设计取舍。

  3. 3
    On Calibration of Modern Neural Networks现代神经网络的校准问题 · 2017

    说明现代网络的置信度失准问题,是 JEM 声称改进的校准问题的背景。

    读抓校准的定义、期望校准误差(ECE)和温度缩放。

  4. 4
    Intriguing properties of neural networks神经网络的有趣性质 · 2013

    对抗样本问题的起点,对应 JEM 对鲁棒性的讨论。

    读抓微小扰动导致误分类的现象。

  5. 5
    Improved Techniques for Training GANs改进的 GAN 训练技术 · 2016

    GAN 训练技巧论文,JEM 将自身生成样本质量与 GAN 的结果比较。

    读抓 Inception Score 等生成质量评价的思路。

  6. 6

    对抗训练的平滑分类器,是 JEM 在鲁棒性上对比的一类方法。

    读抓对抗训练提升鲁棒性的思路;证明部分略读。

  7. 7
    Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One你的分类器其实是个能量模型,应当这样对待它 · 2019 · 就是这篇

    把分类器重新解读为联合分布的能量模型。

    读抓用 logits 定义 p(x,y)、p(x) 的方式,以及基于 SGLD 的训练和采样。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐blackcat201 · 2020-09

“see figure 4 and you will understand what I mean”

让人看图 4,说明神经网络置信度有多误导
Show HN: Build a DIY license plate reader with machine learning原评论 ↗
推荐rubatuga · 2021-03

“Also an interesting paper about hybrid energy based models:”

推荐这篇关于混合能量模型的有趣论文
Understanding deep learning requires rethinking generalization原评论 ↗
推荐godelski · 2024-08

“A bit more nuance will be found by reading this far underappreciated work: Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One.”

推荐这篇被低估的工作,用来补充对 GAN 的细致理解
The Path to StyleGan2 – Implementing the Progressive Growing GAN原评论 ↗
推荐maurits · 2025-02

“For people interested in the softmax, log sum exp and energy models, have a look at”

推荐给对 softmax、log sum exp 和能量模型感兴趣的人
Softmax forever, or why I like softmax原评论 ↗
引用rjeli · 2020-09

“Reminds me of JEMs from Grathwohl et al last year [0].”

想起前一年 Grathwohl 等人的 JEM 工作
Score matching with Langevin Sampling: a new contender to GANs原评论 ↗
引用godelski · 2024-08

“you can even demonstrate that classifiers are EBMs.”

指出甚至能证明分类器就是能量模型
A new type of neural network is more interpretable原评论 ↗