“See e.g Guo et al, but don't trust their advice about how to improve calibration”
On Calibration of Modern Neural Networks
发现现代神经网络置信度失准,温度缩放是简单有效的校准办法
论文指出,与十年前的网络不同,现代神经网络的置信度校准很差,即预测概率与真实正确率不符。实验发现深度、宽度、权重衰减和 Batch Normalization 都会影响校准,并比较了多种后处理校准方法;结论是在多数数据集上,温度缩放(temperature scaling)这一单参数方法出人意料地有效。
HN 评论者把它当作「神经网络过度自信、训练损失与校准存在张力」的标准出处引用,也有人提醒不要全信它给出的改进建议。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你先熟悉论文所评测的现代网络(ResNet、DenseNet)和批归一化,再理解温度缩放与知识蒸馏中温度的联系,以及 dropout 的不确定性视角。
- 1
论文以 ResNet 为主要被测的现代网络,需要知道其结构。
读残差块与深度的关系;之后对照校准随深度变差的结论。
- 2
论文发现 Batch Normalization 等因素会影响校准。
读批归一化的作用与训练行为;留意它为何可能让模型更过度自信。
- 3
- 4
蒸馏中的 softmax 温度与温度缩放是同一个想法。
读带温度的 softmax;对照温度缩放只用一个参数的做法。
- 5
另一种获得可信不确定性的路线:把 dropout 视为贝叶斯近似。
读MC dropout 的基本想法;与事后校准方法对比。
- 6On Calibration of Modern Neural Networks
目标论文:揭示现代网络置信度失准,并提出温度缩放。
读可靠性图与期望校准误差(ECE);各校准方法对比与温度缩放。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Most recently:”
“Deep learning models in particular are not good at accurately estimating confidence, so there is a whole body of work on getting better confidence estimates, e.g. [0].”
“Cross-entropy loss can start getting worse due to the model becoming less calibrated, even as the classification accuracy continues to improve. I first heard that here: On Calibration of Modern Neural Networks”
“if a prediction is truly 50/50, neural nets are often prone to predicting overconfidently [0].”
“in tension with minimizing training loss for neural networks, e.g. Guo et al (2017) On Calibration of Modern Neural Networks”