按年被提到
20162018 · 2 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:1603.06560 · cs.LG

Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization

Hyperband:一种基于老虎机的超参数优化新方法
Lisha Li, Kevin Jamieson, Giulia DeSalvo, Afshin Rostamizadeh, Ameet Talwalkar · 2016

Hyperband:用自适应资源分配与早停加速超参数随机搜索

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2017-11-27 · 最近 2023-06-06发表于 Journal of Machine Learning Research
3不同的人
4活跃月份
4讨论串
1,366被引(OpenAlex)

论文不走贝叶斯优化路线,而是通过自适应资源分配和早停来加速随机搜索:把超参数优化表述为纯探索的非随机无限臂老虎机问题,把迭代次数、数据量或特征数等预设资源分配给随机采样的配置。作者提出 Hyperband 算法并分析其理论性质,在一系列深度学习和核方法问题上与流行的贝叶斯优化对比,观察到超过一个数量级的加速。

HN 为什么提它

HN 评论者在聊超参数调优时反复推荐它,称其在实践中常胜过贝叶斯搜索,还有人提到它被用于谷歌的内部机器学习工具。

方法难度 3 / 5约 120 分钟经得起时间
读之前最好知道
1超参数调优与随机搜索(random search)
2多臂老虎机(multi-armed bandit)
3贝叶斯优化(Bayesian optimization)
4模型训练中的早停

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐gillesjacobs · 2023-06

“Hyperband [1] has been my go-to hyperparam optimization method over the past few years. Handily beats Bayesian search wherever I applied it”

称 Hyperband 是自己多年来的首选,实践中胜过贝叶斯搜索
Hyperparameter Optimization for LLMs via Scaling Laws原评论 ↗
引用kirillseva · 2017-11

“hyperband - what google uses in their internal ML toolkits AFAIK”

提到据说 Google 内部 ML 工具包在用 Hyperband
Population-based training of neural networks原评论 ↗
引用kirillseva · 2018-02

“the one I'm talking about is called hyperband [0]”

指出自己所说的方法叫 Hyperband
Uber and Waymo Reach Settlement原评论 ↗
引用abhgh · 2018-07

“Hyperband - [2]- is an example.”

举 Hyperband 作基于 bandit 的资源分配例子
Troubling Trends in Machine Learning Scholarship原评论 ↗