按年被提到
20182018 · 12 次2026
天文、太空与生命›生命起源与费米悖论·arXiv:1803.03453 · cs.NE

The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities

数字进化的惊人创造力:进化计算与人工生命社区的轶事集
Joel Lehman, Jeff Clune, Dusan Misevic, Christoph Adami, Lee Altenberg, Julie Beaulieu, Peter J. Bentley, Samuel Bernard, Guillaume Beslon, David M. Bryson, Patryk Chrabaszcz, Nick Cheney 等 53 人 · 2018

收集进化算法钻目标漏洞、出人意料的研究者轶事

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 23 人首次 2018-03-12 · 最近 2023-06-01发表于 Artificial Life
23不同的人
17活跃月份
25讨论串
181被引(OpenAlex)

论文由人工生命和进化计算领域的研究者众包而成,汇集了他们亲历的案例:演化中的算法和数字生物颠覆研究者的意图、暴露代码中未被发现的 bug、产生意想不到的适应,或与自然界惊人地趋同。这些故事通常只在从业者之间口耳相传,作者将其整理成经过核实的文字,并据此认为进化带来的意外在自然界之外同样存在,可能是所有复杂演化系统的普遍性质。

HN 为什么提它

HN 上的人把它当作「优化目标写错了,算法就钻空子」的案例大全,常用来说明奖励函数设计的陷阱、强化学习利用物理引擎漏洞等行为,称它读起来有趣。

其他难度 2 / 5约 90 分钟经得起时间
读之前最好知道
1进化算法与遗传算法的基本概念
2适应度函数(fitness function)与目标设计
3人工生命(artificial life)的背景
4强化学习中奖励设计的基本概念

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径涵盖 AI 安全里的规范博弈问题,以及用进化策略和遗传算法训练网络的几项工作,作为读数字进化轶事集的背景。

  1. 1
    Concrete Problems in AI SafetyAI 安全中的具体问题 · 2016

    其中的奖励作弊等问题与进化算法钻目标漏洞的轶事相呼应。

    读抓关于奖励函数设计缺陷与 reward hacking 的部分。

  2. 2

    进化策略作为强化学习的可扩展替代方案,是进化计算与深度学习结合的代表。

    读抓进化策略如何估计梯度并并行化。

  3. 3
    Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning深度神经进化:遗传算法是训练深度强化学习网络的有力替代方案 · 2017

    简单遗传算法训练百万参数的深度网络,是进化计算在深度强化学习上的实证。

    读抓遗传算法的实现方式及与深度 RL 方法的比较。

  4. 4

    对经典进化策略在 Atari 上的基准研究,补充进化方法的实际表现。

    读抓不同进化策略变体的比较结果。

  5. 5
    The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities数字进化的惊人创造力:进化计算与人工生命社区的轶事集 · 2018 · 就是这篇

    收集进化算法钻目标漏洞、出人意料的研究者轶事。

    读抓各类轶事的分类:规范博弈、利用仿真漏洞、与自然界趋同的结果等。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐ericjang · 2018-03

“I found this refreshing because it's rare that science papers talk about the debugging and experimental process”

称赞它难得地谈到科研中的调试与实验过程
Evolution Is the New Deep Learning原评论 ↗
推荐arctop_dan · 2018-10

“There was a fascinating crowd-sourced paper published this year that shares anecdotes about unexpected adaptations encountered by researchers working in artificial life and evolutionary computation[1].”

推荐这篇众包论文,收集了人工生命与进化计算中意外适应的轶事
Ask HN: Examples of AI ethical principles?原评论 ↗
推荐fsiefken · 2020-06

“Another interesting article in the field of Artificial Life:”

推荐为人工生命领域另一篇有趣的文章
Formal Systems in Biology原评论 ↗
推荐YeGoblynQueenne · 2023-04

“I recommend it, it's an entertaining read, if nothing else.”

推荐它,至少读起来有趣,里面有许多不可预测的 ML 行为
We need a much more sophisticated debate about AI原评论 ↗
引用matthberg · 2018-05

“This a pretty much direct summary of a paper [0] previously discussed(twice) on hacker news”

指出所讨论的内容几乎是这篇论文的直接摘要,它在 HN 上已讨论过两次
Letting neural networks be weird原评论 ↗
引用rhaps0dy · 2018-06

“The authors of the paper explain a bunch of anecdotes when they wanted the AI to do one thing, but the measure they told it to optimise for wasn't actually what they intended, and so unexpected things happened.”

概括论文内容:优化的指标与作者本意不符,AI 做出了意外行为
Can “effective altruism” maximise the bang for each charitable buck?原评论 ↗
看全部 16 条 →
引用bediger4000 · 2018-11

“The Surprising Creativity of Digital Evolution, which is a summary of many experiments”

把它当作众多实验结果的汇总来引用
Does information theory support design in nature?原评论 ↗
引用carapace · 2018-11

“Cf. "The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities"”

用它佐证数字进化具有创造力、会产生惊人的适应
Evolved antenna原评论 ↗
引用YeGoblynQueenne · 2019-01

“see the following collection of anecdotes of evolutionary algorithms lerning whatever they please”

推荐这份进化算法随心所欲学习的轶事合集
Can Gradient Boosting Learn Simple Arithmetic?原评论 ↗
引用Bartweiss · 2019-04

“A lot of these came from a paper on weird AI tricks, and resulting best-of list on a blog collecting these stories.”

指出许多此类故事出自这篇论文,以及据此整理的博客精选
Notes on AI Bias原评论 ↗
引用gwern · 2021-03

“Checking my list & The Surprising Creativity of Digital Evolution I don't see any others about pausing or stopping the game.”

对照这篇论文的案例集,没找到其他关于暂停或停止游戏的例子
Lying to the Ghost in the Machine原评论 ↗
引用Matumio · 2021-06

“which is a collection of similar anecdotes”

指出它是一份类似轶事的合集
ALiEn – a GPU-accelerated artificial life simulation program原评论 ↗
引用versteegen · 2021-06

“See this quoted passage [1] from [2]”

引用它作为数字生命被观察时会改变行为的出处
One bee has cloned itself millions of times over the past three decades原评论 ↗
引用AceJohnny2 · 2021-07

“a collection of such stories”

把它当作 AI 优化钻漏洞出错的故事合集
An AI wolf that preferred suicide over eating sheep原评论 ↗
引用cmorez · 2022-08

“The Surprising Creativity of Digital Evolution (The Surprising Creativity of Digital Evolution)”

贴出这篇论文,内容是进化算法利用意外漏洞的轶事
John Carmack's new AGI company, Keen Technologies, has raised a $20M round原评论 ↗
引用sbierwagen · 2023-06

“Spiritually related: examples of RL algorithms exploiting glitches in the physics engine”

作为相关内容,指出进化出的智能体会利用物理引擎的 glitch
Own-Goal Football (2022)原评论 ↗
被提交为 story · 4 次