按年被提到
20172023 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1706.04599 · cs.LG

On Calibration of Modern Neural Networks

现代神经网络的校准问题
Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger · 2017

发现现代神经网络置信度失准,温度缩放是简单有效的校准办法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2018-04-12 · 最近 2026-10-05
5不同的人
6活跃月份
6讨论串
3,437被引(OpenAlex)

论文指出,与十年前的网络不同,现代神经网络的置信度校准很差,即预测概率与真实正确率不符。实验发现深度、宽度、权重衰减和 Batch Normalization 都会影响校准,并比较了多种后处理校准方法;结论是在多数数据集上,温度缩放(temperature scaling)这一单参数方法出人意料地有效。

HN 为什么提它

HN 评论者把它当作「神经网络过度自信、训练损失与校准存在张力」的标准出处引用,也有人提醒不要全信它给出的改进建议。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1神经网络分类与交叉熵损失
2概率校准(calibration)
3Batch Normalization
4Platt scaling

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你先熟悉论文所评测的现代网络(ResNet、DenseNet)和批归一化,再理解温度缩放与知识蒸馏中温度的联系,以及 dropout 的不确定性视角。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    论文以 ResNet 为主要被测的现代网络,需要知道其结构。

    读残差块与深度的关系;之后对照校准随深度变差的结论。

  2. 2
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    论文发现 Batch Normalization 等因素会影响校准。

    读批归一化的作用与训练行为;留意它为何可能让模型更过度自信。

  3. 3
    Densely Connected Convolutional Networks密集连接卷积网络(DenseNet) · 2016

    论文评测的另一类现代架构 DenseNet。

    读密集连接结构,了解网络容量与参数量的关系即可。

  4. 4
    Distilling the Knowledge in a Neural Network蒸馏神经网络中的知识 · 2015

    蒸馏中的 softmax 温度与温度缩放是同一个想法。

    读带温度的 softmax;对照温度缩放只用一个参数的做法。

  5. 5
    Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning把 Dropout 看作贝叶斯近似:表示深度学习中的模型不确定性 · 2015

    另一种获得可信不确定性的路线:把 dropout 视为贝叶斯近似。

    读MC dropout 的基本想法;与事后校准方法对比。

  6. 6
    On Calibration of Modern Neural Networks现代神经网络的校准问题 · 2017 · 就是这篇

    目标论文:揭示现代网络置信度失准,并提出温度缩放。

    读可靠性图与期望校准误差(ECE);各校准方法对比与温度缩放。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评version_five · 2023-01

“See e.g Guo et al, but don't trust their advice about how to improve calibration”

Overconfidence and AI原评论 ↗
引用Eruditass · 2018-04

“Most recently:”

给出神经网络输出概率校准方面的最新工作
Tesla issues strongest statement yet blaming driver for deadly crash原评论 ↗
引用andy99 · 2021-04

“Deep learning models in particular are not good at accurately estimating confidence, so there is a whole body of work on getting better confidence estimates, e.g. [0].”

说明深度学习难以准确估计置信度,并以此文为例指出有大量改进置信度的工作
Smart Folk Often Full of Crap, Study Finds原评论 ↗
引用minihat · 2023-09

“Cross-entropy loss can start getting worse due to the model becoming less calibrated, even as the classification accuracy continues to improve. I first heard that here: On Calibration of Modern Neural Networks”

说明分类准确率提高时校准变差会使交叉熵损失变差,是从这篇论文首次得知
Can LLMs learn from a single example?原评论 ↗
引用ainch · 2026-09

“if a prediction is truly 50/50, neural nets are often prone to predicting overconfidently [0].”

拿它说明真实 50/50 的预测上神经网络常过度自信
Jev in 25 Lines of Python原评论 ↗
引用andy99 · 2026-10

“in tension with minimizing training loss for neural networks, e.g. Guo et al (2017) On Calibration of Modern Neural Networks”

引 Guo 等人说明校准与最小化训练损失之间存在张力
Decision models like Jev don't beat LLM-as-a-judge or traditional classifiers原评论 ↗