按年被提到
20172017 · 4 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1710.05941 · cs.NE

Searching for Activation Functions

搜索激活函数
Prajit Ramachandran, Barret Zoph, Quoc V. Le · 2017

用自动搜索发现 Swish 激活函数,在深层模型上常优于 ReLU

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2017-10-18 · 最近 2023-02-08
5不同的人
3活跃月份
5讨论串
2,333被引(OpenAlex)

激活函数对深度网络的训练动态和任务表现影响显著,ReLU 是目前最成功、最常用的,手工设计的替代品因收益不稳定而都没能取代它。论文用穷举与基于强化学习的搜索自动发现新的激活函数,其中最好的 f(x) = x·sigmoid(βx) 被命名为 Swish,在多个有挑战性的数据集上的深层模型里往往比 ReLU 更好,例如把 ReLU 换成 Swish 使 Mobile NASNet-A 的 ImageNet top-1 准确率提高 0.9%,Inception-ResNet-v2 提高 0.6%。

HN 为什么提它

HN 上的人引用它说明 Swish(可训练的 SiLU)是通过自动符号搜索得到的激活函数。

实证研究难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1激活函数(ReLU、sigmoid)
2神经架构搜索与强化学习
3卷积网络与 ImageNet 分类
4反向传播

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你了解激活函数设计的背景(PReLU、残差网络)、用强化学习做架构搜索的方法,以及 Swish 要在哪些模型上被检验。

  1. 1
    Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification深入研究整流器:在 ImageNet 分类上超越人类水平 · 2015

    提出 PReLU,是 ReLU 之后有代表性的手工设计激活函数。

    读PReLU 的定义与何种情况下优于 ReLU。

  2. 2
    Neural Architecture Search with Reinforcement Learning用强化学习搜索神经网络架构 · 2016

    本文的搜索方法使用了该论文的 RNN 控制器加强化学习范式。

    读控制器如何采样结构,用奖励训练它。

  3. 3
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    Swish 在残差网络上做了主要的图像分类比较。

    读残差网络的整体结构,便于理解替换激活函数的位置。

  4. 4
    Identity Mappings in Deep Residual Networks深度残差网络中的恒等映射 · 2016

    预激活残差单元是本文实验使用的网络变体之一。

    读预激活残差块中归一化、激活与卷积的顺序。

  5. 5
    Learning Transferable Architectures for Scalable Image Recognition学习可迁移的架构以实现可扩展的图像识别(NASNet) · 2017

    NASNet 是用搜索得到的架构,本文也在其上检验 Swish。

    读搜索得到的卷积单元,以及迁移到 ImageNet 的做法。

  6. 6
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    本文在 Transformer 机器翻译上也评估了 Swish。

    读Transformer 的前馈层,对应激活函数的位置。

  7. 7
    Searching for Activation Functions搜索激活函数 · 2017 · 就是这篇

    目标论文:用穷举加强化学习搜索激活函数,发现 Swish(x 乘 sigmoid(x))。

    读搜索空间设计,Swish 的形式,以及在各模型上的对比结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用f_devd · 2023-02

“Swish[0] is is a trainable SiLU which was found through symbolic search/optimization [1]”

说明 Swish 是通过符号搜索找到的可训练 SiLU
New neural network architecture inspired by neural system of a worm原评论 ↗
被提交为 story · 4 次