按年被提到
20162017 · 2 次2026
AI 安全、伦理与社会影响›AI 风险与对齐·arXiv:1609.02009 · cs.AI

Non-Evolutionary Superintelligences Do Nothing, Eventually

非进化的超级智能最终什么也不做
Telmo Menezes · 2016

论证脱离进化压力的超级智能会因自改效用函数而变得惰性

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2017-03-22 · 最近 2023-04-12
3不同的人
3活跃月份
3讨论串
2被引(OpenAlex)

人类智能是达尔文进化的产物,作者通过考察自我修改,尤其是效用函数的自我修改,提出更强的主张:任何形式的智能最终都只可能在进化过程中存在。人类设计的 AI 只能稳定到它发现如何操纵自己的效用函数为止,设计者无法阻止超人智能自我修改,没有进化压力时足够先进的 AI 会通过简化自己的效用函数而变得惰性;在进化过程中,隐含的效用函数总可归结为“持续存在”,而嵌入进化过程的超人智能无法被控制。因此,缓解超级智能带来的生存风险应着力于理解意识和进化系统的复杂动力学。

HN 为什么提它

作者本人在评论里引用它,用来阐述关于非进化超级智能不稳定、不同情景的论点。

观点难度 3 / 5约 25 分钟经得起时间
读之前最好知道
1AI 安全与超级智能
2效用函数与自我修改
3达尔文进化论
4意识问题

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用TelmoMenezes · 2017-12

“here's a paper where I present my arguments for alternative scenarios:”

贴出自己论述其他情景的论文
The Merge原评论 ↗
被提交为 story · 2 次