按年被提到
20202023 · 2 次2026
机器学习与深度学习›神经科学启发的 AI·arXiv:2006.09661 · cs.CV

Implicit Neural Representations with Periodic Activation Functions

使用周期性激活函数的隐式神经表示
Vincent Sitzmann, Julien N. P. Martel, Alexander W. Bergman, David B. Lindell, Gordon Wetzstein · 2020

用正弦激活的网络表示信号及其导数,并求解边值问题。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-03-01 · 最近 2026-09-25
3不同的人
3活跃月份
3讨论串
1,545被引(OpenAlex)

提出用周期性(正弦)激活函数构建隐式神经表示,称为 Siren,能表示含精细细节的复杂自然信号,并同时表示其空间和时间导数。论文分析了 Siren 的激活统计并给出有原则的初始化方案,演示了对图像、波场、视频、声音及其导数的表示,还用 Siren 求解 Eikonal 方程(得到符号距离函数)、Poisson、Helmholtz 和波动方程等边值问题。最后把 Siren 与超网络结合,学习 Siren 函数空间上的先验。

HN 为什么提它

评论者点名它作为“用 sin 当激活函数”的例子,也把它作为隐式神经表示(用 MLP 去过拟合单个数据点)的背景引用。

方法难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1多层感知机(MLP)与激活函数
2隐式神经表示(implicit neural representation)
3偏微分方程基础(Eikonal、Poisson、Helmholtz 方程)
4超网络(hypernetwork)

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立隐式神经表示的前置知识:用神经网络表示形状和场景的 DeepSDF、SRN 与 NeRF,再读用正弦激活改进细节表示的 SIREN。

  1. 1

    用神经网络表示符号距离函数,是隐式神经表示的代表性起点。

    读把形状编码为连续函数、用 MLP 回归 SDF 的做法。

  2. 2

    把场景表示成连续函数,是 SIREN 评测所对照的隐式表示方法之一。

    读用坐标到特征的映射表示三维场景;留意其局限。

  3. 3
    NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisNeRF:用神经辐射场表示场景以进行视图合成 · 2020

    NeRF 用位置编码来克服 MLP 难以拟合高频细节的问题,SIREN 提供另一种方案。

    读位置编码的作用与 MLP 表示辐射场;对比用正弦激活的思路。

  4. 4
    Implicit Neural Representations with Periodic Activation Functions使用周期性激活函数的隐式神经表示 · 2020 · 就是这篇

    目标论文:用周期性(正弦)激活函数表示信号及其导数。

    读正弦激活与初始化原则、对导数的表示能力,以及泊松方程等应用。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用f_devd · 2023-03

“Could also be Sirens[1] which was all about sin as activation”

指出可能是 Sirens 那篇,它全篇讲用 sin 做激活函数
200-Year-Old Math Opens Up AI’s Mysterious Black Box原评论 ↗
引用stefanpie · 2023-09

“For INRs, you overfit a neural network, typically a Multilayer Perceptron (MLP)[1], to a single data point.”

引用它作背景:隐式神经表示是对单个数据点过拟合的坐标式 MLP
What Is Residual Vector Quantization?原评论 ↗
被提交为 story · 1 次