引用yters · 2019-07
“most problems are a good fit for a particular algorithm:”
引用此文:大多数搜索问题并不特别适合某个特定算法
证明对固定算法而言,有利问题的占比有严格上界,没有算法能通吃
论文把机器学习看作一种搜索,证明对某个固定算法有利的问题比例有严格上界,因此没有单一算法能在大比例问题上表现良好,这解释了为何要年复年地开发新方法,或转向灵活但对超参数敏感的高度参数化模型。作者还给出搜索算法期望性能关于目标与信息资源(如训练集)之间互信息的上界,说明某些类型的依赖对机器学习很重要。最后证明,每次查询的期望成功概率在数学上等价于某分布(搜索策略)下的单次查询成功概率,且有利策略的比例同样有严格上界,因此无论固定算法看所有问题,还是固定问题看所有策略,有利的匹配都极为罕见。
评论者引用它来反驳「大多数问题都适合某种特定算法」的说法,说明大多数搜索问题并不适合任何特定算法。
“most problems are a good fit for a particular algorithm:”