按年被提到
20162019 · 1 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:1609.08913 · stat.ML

The Famine of Forte: Few Search Problems Greatly Favor Your Algorithm

擅长之饥荒:很少有搜索问题特别适合你的算法
George D. Montanez · 2016

证明对固定算法而言,有利问题的占比有严格上界,没有算法能通吃

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2019-07-15 · 最近 2024-12-28
3不同的人
3活跃月份
3讨论串
17被引(OpenAlex)

论文把机器学习看作一种搜索,证明对某个固定算法有利的问题比例有严格上界,因此没有单一算法能在大比例问题上表现良好,这解释了为何要年复年地开发新方法,或转向灵活但对超参数敏感的高度参数化模型。作者还给出搜索算法期望性能关于目标与信息资源(如训练集)之间互信息的上界,说明某些类型的依赖对机器学习很重要。最后证明,每次查询的期望成功概率在数学上等价于某分布(搜索策略)下的单次查询成功概率,且有利策略的比例同样有严格上界,因此无论固定算法看所有问题,还是固定问题看所有策略,有利的匹配都极为罕见。

HN 为什么提它

评论者引用它来反驳「大多数问题都适合某种特定算法」的说法,说明大多数搜索问题并不适合任何特定算法。

其他难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1没有免费午餐定理(No Free Lunch)
2概率论与信息论(互信息)
3机器学习中的归纳偏置
4搜索问题的形式化

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用yters · 2019-07

“most problems are a good fit for a particular algorithm:”

引用此文:大多数搜索问题并不特别适合某个特定算法
Don't Cite the No Free Lunch Theorem原评论 ↗
被提交为 story · 2 次