“Swish[0] is is a trainable SiLU which was found through symbolic search/optimization [1]”
按年被提到
20172017 · 4 次2026
Searching for Activation Functions
搜索激活函数
Prajit Ramachandran, Barret Zoph, Quoc V. Le · 2017
用自动搜索发现 Swish 激活函数,在深层模型上常优于 ReLU
被提及 · 5 人首次 2017-10-18 · 最近 2023-02-08
5不同的人
3活跃月份
5讨论串
2,333被引(OpenAlex)
激活函数对深度网络的训练动态和任务表现影响显著,ReLU 是目前最成功、最常用的,手工设计的替代品因收益不稳定而都没能取代它。论文用穷举与基于强化学习的搜索自动发现新的激活函数,其中最好的 f(x) = x·sigmoid(βx) 被命名为 Swish,在多个有挑战性的数据集上的深层模型里往往比 ReLU 更好,例如把 ReLU 换成 Swish 使 Mobile NASNet-A 的 ImageNet top-1 准确率提高 0.9%,Inception-ResNet-v2 提高 0.6%。
HN 为什么提它
HN 上的人引用它说明 Swish(可训练的 SiLU)是通过自动符号搜索得到的激活函数。
实证研究难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1激活函数(ReLU、sigmoid)
2神经架构搜索与强化学习
3卷积网络与 ImageNet 分类
4反向传播
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你了解激活函数设计的背景(PReLU、残差网络)、用强化学习做架构搜索的方法,以及 Swish 要在哪些模型上被检验。
- 1
提出 PReLU,是 ReLU 之后有代表性的手工设计激活函数。
读PReLU 的定义与何种情况下优于 ReLU。
- 2
本文的搜索方法使用了该论文的 RNN 控制器加强化学习范式。
读控制器如何采样结构,用奖励训练它。
- 3
- 4
- 5
NASNet 是用搜索得到的架构,本文也在其上检验 Swish。
读搜索得到的卷积单元,以及迁移到 ImageNet 的做法。
- 6
- 7Searching for Activation Functions
目标论文:用穷举加强化学习搜索激活函数,发现 Swish(x 乘 sigmoid(x))。
读搜索空间设计,Swish 的形式,以及在各模型上的对比结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用f_devd · 2023-02
说明 Swish 是通过符号搜索找到的可训练 SiLU
被提交为 story · 4 次
- Swish: A Self-Gated Activation Function ↗eb0la · 2017-10-18 · 6 分
- Swish: A Self-Gated Activation Function ↗gfredtech · 2017-10-27 · 2 分
- Swish: A Self-Gated Activation Function ↗goberoi · 2017-10-30 · 2 分
- The “Swish” Activation Function: Like ReLU but Better ↗PaulHoule · 2017-11-02 · 2 分