引用lhl · 2023-04
“Carlsmith, Joseph. “Is Power-Seeking AI an Existential Risk?” arXiv, June 16, 2022. Is Power-Seeking AI an Existential Risk?.”
引它论证追求权力的先进 AI 是生存风险
用六个前提的论证评估错位 AI 导致生存灾难的概率
报告分两步检视对错位人工智能带来生存风险的核心担忧:先描绘背景,即智能体是极强的力量,创造远比人类聪明的智能体如同玩火,若其目标有问题,它们很可能有谋求对人类权力的工具性动机;再提出并评估一个六前提的论证,即到 2070 年这类智能体将导致生存性灾难。作者给各前提主观赋值,得出到 2070 年发生此类灾难的总体估计约 5%,2022 年 5 月更新后升到 10% 以上。
评论者把它列入阅读清单,当作“追求权力的先进 AI 构成生存风险”这一论证的出处;也有人坦言太长没读。
“Carlsmith, Joseph. “Is Power-Seeking AI an Existential Risk?” arXiv, June 16, 2022. Is Power-Seeking AI an Existential Risk?.”
“Carlsmith, Joseph. “Is Power-Seeking AI an Existential Risk?” arXiv, June 16, 2022. Is Power-Seeking AI an Existential Risk?.”
“Too long, sorry. Maybe I will read it someday, but not today.”