“For example, our recent paper "Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer"[1] shows that even learning rate and initialization used by existing models are deeply wrong.”
按年被提到
20222022 · 3 次2026
Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer
Tensor Programs V:通过零样本超参数迁移调优大型神经网络
Greg Yang, Edward J. Hu, Igor Babuschkin, Szymon Sidor, Xiaodong Liu, David Farhi, Nick Ryder, Jakub Pachocki, Weizhu Chen, Jianfeng Gao · 2022
借 muP 参数化把小模型调好的超参数直接迁移到大模型
被提及 · 5 人首次 2022-03-09 · 最近 2024-12-23
5不同的人
4活跃月份
5讨论串
34被引(OpenAlex)
对数十亿参数的网络,超参数调优代价高到难以承受。论文表明,在新近发现的最大更新参数化(muP)下,许多最优超参数在模型规模变化时保持稳定,由此提出 muTransfer 范式:用 muP 参数化目标模型,在小模型上间接调参,再零样本迁移到完整模型,完全不直接调大模型。在 Transformer 和 ResNet 上验证:从 1300 万参数模型迁移预训练超参数,就超过已发表的 BERT-large(3.5 亿参数)结果,总调参成本相当于预训练一次 BERT-large;从 4000 万参数迁移则超过 67 亿参数 GPT-3 的已发表结果,调参成本仅为总预训练成本的 7%。
HN 为什么提它
HN 评论者引用它说明超参数可以从小模型迁移到大模型,所以可以在小模型上做实验、再有把握地推广到大模型;作者本人也说它表明现有模型的学习率和初始化存在深层偏差。
方法难度 5 / 5约 120 分钟经得起时间
读之前最好知道
1神经网络参数化与初始化
2超参数调优(学习率等)
3神经网络缩放规律(scaling laws)
4无限宽度极限与张量程序(Tensor Programs)
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用gyang · 2022-04
举自己团队这篇论文:现有模型的学习率和初始化其实大错特错
引用buildbot · 2023-03
“another paper on that: Tensor Programs V”
补充另一篇相关论文:用小模型的超参数迁移来调优大网络
引用merizian · 2024-12
“Because of mup [0] and scaling laws, you can test ideas empirically on smaller models, with some confidence they will transfer to the larger model.”
借 mup 说明可在小模型上试验想法,再有把握地迁移到大模型
被提交为 story · 2 次
- Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer ↗jjri · 2022-03-09 · 3 分
- Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer ↗jonbaer · 2022-03-11 · 2 分