按年被提到
20202020 · 5 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:2003.08505 · cs.CV

A Metric Learning Reality Check

度量学习的现实检验
Kevin Musgrave, Serge Belongie, Ser-Nam Lim · 2020

检验深度度量学习:多年来的提升大多源于实验方法缺陷

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2020-05-10 · 最近 2022-12-01
5不同的人
3活跃月份
6讨论串
447被引(OpenAlex)

过去四年的深度度量学习论文一再宣称取得巨大精度进步,常常把十年前方法的性能翻了一倍以上。论文仔细检视这一领域,发现众多度量学习论文的实验方法存在缺陷,实际随时间取得的改进至多只是微小的。

HN 为什么提它

评论者用它说明整个子领域报告的进步可能其实是假象,类似「Implementation matters in deep RL」,提醒不要盲信文献中的共识。

实证研究难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1深度度量学习与嵌入检索
2对比损失与三元组损失(contrastive / triplet loss)
3机器学习实验方法与可复现性
4超参数调优与验证集划分

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我先了解度量学习的代表方法(FaceNet 三元组),再看几篇「重新检验领域进展」的同类工作,建立对实验方法学缺陷的敏感度。

  1. 1
    FaceNet: A Unified Embedding for Face Recognition and ClusteringFaceNet:用于人脸识别与聚类的统一嵌入 · 2015

    FaceNet 用三元组损失学习嵌入,是深度度量学习被广泛引用的起点之一。

    读抓三元组损失、在线难样本挖掘(triplet mining)的做法,以及嵌入直接用距离度量的思路。

  2. 2
    Are GANs Created Equal? A Large-Scale StudyGAN 生而平等吗?一项大规模研究 · 2017

    同类型的大规模公平比较研究:指出调参和算力往往比算法改动更关键。

    读抓如何设计公平的比较协议,以及结论为何会削弱各论文声称的进步。

  3. 3
    Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches我们真的取得了很大进展吗?对近期神经推荐方法的令人担忧的分析 · 2019

    在推荐系统领域做的类似检验:多数新方法难以复现且被简单基线超越。

    读抓其复现和基线调参的评估流程,对照目标论文的做法。

  4. 4
    Troubling Trends in Machine Learning Scholarship机器学习学术中令人担忧的趋势 · 2018

    批评机器学习论文的常见问题,如归因不清、比较不公平,为本文的批评提供更广的背景。

    读抓其中关于实证评估和归因的部分。

  5. 5
    A Metric Learning Reality Check度量学习的现实检验 · 2020 · 就是这篇

    目标论文:检验深度度量学习多年来的进展,发现多数提升源于实验方法缺陷。

    读抓所指出的方法学缺陷(如在测试集上选超参、比较不公平)以及重新做公平实验后的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐chriskanan · 2020-05

“I like this recent paper that pokes this issue in metric learning:”

推荐它揭示度量学习报告的提升源于虚假原因
A complete 4-year course plan for an AI undergraduate degree原评论 ↗
引用Eridrus · 2020-06

“Another paper on the related topic of metric learning arguing that metric learning hasn't actually made any progress”

补充一篇论文,认为度量学习其实没有真正进步
Stanford Class on Deep Multi-Task and Meta-Learning原评论 ↗
引用igorkraw · 2022-12

“whole fields can go "improving" only for papers like A Metric Learning Reality Check or "Implementation matters in deep RL" to come out and show that what's going on is different from the literature consensus.”

拿它说明整个领域可能在虚假“改进”,与文献共识不符
Statistical vs. Deep Learning forecasting methods原评论 ↗
被提交为 story · 3 次