引用TelmoMenezes · 2017-12
“here's a paper where I present my arguments for alternative scenarios:”
贴出自己论述其他情景的论文
论证脱离进化压力的超级智能会因自改效用函数而变得惰性
人类智能是达尔文进化的产物,作者通过考察自我修改,尤其是效用函数的自我修改,提出更强的主张:任何形式的智能最终都只可能在进化过程中存在。人类设计的 AI 只能稳定到它发现如何操纵自己的效用函数为止,设计者无法阻止超人智能自我修改,没有进化压力时足够先进的 AI 会通过简化自己的效用函数而变得惰性;在进化过程中,隐含的效用函数总可归结为“持续存在”,而嵌入进化过程的超人智能无法被控制。因此,缓解超级智能带来的生存风险应着力于理解意识和进化系统的复杂动力学。
作者本人在评论里引用它,用来阐述关于非进化超级智能不稳定、不同情景的论点。
“here's a paper where I present my arguments for alternative scenarios:”