批评optimalsolver · 2025-03
“However, there are issues. How do you even begin to formalize concepts like human well-being?”
质疑可证明安全的思路:人类福祉这类概念该如何形式化
主张借形式化验证与机制可解释性构建可证明安全的 AGI
论文描述一条让人类与强大 AGI 安全共处的路径:通过构建能被证明满足人类指定要求的 AGI。作者主张借助先进 AI 做形式化验证和机制可解释性,这在技术上很快会变得可行,并认为这是唯一能保证 AGI 安全可控的路径。最后列出一系列挑战问题,其解决将促成这一积极结果,并邀请读者加入。
一位评论者用它说明 AI 安全风险来自近期能力扩展,另一位则质疑如何形式化“人类福祉”这类概念以实现可证明安全。
“However, there are issues. How do you even begin to formalize concepts like human well-being?”
“about near-future expansions of AI capabilities.”