按年被提到
20232023 · 2 次2026
AI 安全、伦理与社会影响›智能体安全与滥用·arXiv:2309.01933 · cs.CY

Provably safe systems: the only path to controllable AGI

可证明安全的系统:通向可控 AGI 的唯一道路
Max Tegmark, Steve Omohundro · 2023

主张借形式化验证与机制可解释性构建可证明安全的 AGI

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-09-07 · 最近 2025-03-05
4不同的人
3活跃月份
4讨论串
22被引(OpenAlex)

论文描述一条让人类与强大 AGI 安全共处的路径:通过构建能被证明满足人类指定要求的 AGI。作者主张借助先进 AI 做形式化验证和机制可解释性,这在技术上很快会变得可行,并认为这是唯一能保证 AGI 安全可控的路径。最后列出一系列挑战问题,其解决将促成这一积极结果,并邀请读者加入。

HN 为什么提它

一位评论者用它说明 AI 安全风险来自近期能力扩展,另一位则质疑如何形式化“人类福祉”这类概念以实现可证明安全。

观点难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1形式化验证基础
2机制可解释性(mechanistic interpretability)
3AI 安全与对齐问题
4AGI 风险论证

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评optimalsolver · 2025-03

“However, there are issues. How do you even begin to formalize concepts like human well-being?”

质疑可证明安全的思路:人类福祉这类概念该如何形式化
Richard Sutton and Andrew Barto Win 2024 Turing Award原评论 ↗
引用JoshTriplett · 2024-04

“about near-future expansions of AI capabilities.”

借它论证 AI 安全风险来自近期能力扩张,而非现有系统
Meta does everything OpenAI should be原评论 ↗
被提交为 story · 2 次