按年被提到
20222023 · 2 次2026
AI 安全、伦理与社会影响›AI 风险与对齐·arXiv:2206.13353 · cs.CY

Is Power-Seeking AI an Existential Risk?

追求权力的 AI 是生存风险吗?
Joseph Carlsmith · 2022

用六个前提的论证评估错位 AI 导致生存灾难的概率

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-10-11 · 最近 2024-01-17
3不同的人
3活跃月份
4讨论串
112被引(OpenAlex)

报告分两步检视对错位人工智能带来生存风险的核心担忧:先描绘背景,即智能体是极强的力量,创造远比人类聪明的智能体如同玩火,若其目标有问题,它们很可能有谋求对人类权力的工具性动机;再提出并评估一个六前提的论证,即到 2070 年这类智能体将导致生存性灾难。作者给各前提主观赋值,得出到 2070 年发生此类灾难的总体估计约 5%,2022 年 5 月更新后升到 10% 以上。

HN 为什么提它

评论者把它列入阅读清单,当作“追求权力的先进 AI 构成生存风险”这一论证的出处;也有人坦言太长没读。

观点难度 2 / 5约 150 分钟经得起时间
读之前最好知道
1AI 对齐(AI alignment)问题
2工具性目标与追求权力的动机
3主观概率与论证评估

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用lhl · 2023-04

“Carlsmith, Joseph. “Is Power-Seeking AI an Existential Risk?” arXiv, June 16, 2022. Is Power-Seeking AI an Existential Risk?.”

引它论证追求权力的先进 AI 是生存风险
Yann LeCun and Andrew Ng: Why the 6-Month AI Pause Is a Bad Idea [video]原评论 ↗
引用lhl · 2023-04

“Carlsmith, Joseph. “Is Power-Seeking AI an Existential Risk?” arXiv, June 16, 2022. Is Power-Seeking AI an Existential Risk?.”

把它列入阅读清单,论证追求权力的 AI 是生存风险
GitHub Copilot emits GPL code原评论 ↗
引用simiones · 2024-01

“Too long, sorry. Maybe I will read it someday, but not today.”

只当链接指向它,并说篇幅太长,以后再读
Many AI safety orgs have tried to criminalize currently-existing open-source AI原评论 ↗
被提交为 story · 1 次