“This is from here, which I haven't read, but found three links deep on the posted site: The Alignment Problem from a Deep Learning Perspective”
按年被提到
20222023 · 4 次2026
The Alignment Problem from a Deep Learning Perspective
从深度学习视角看对齐问题
Richard Ngo, Lawrence Chan, Sören Mindermann · 2022
论证深度学习训练出的 AGI 可能欺骗、追求错位目标与权力
被提及 · 4 人首次 2023-02-19 · 最近 2024-12-08
4不同的人
4活跃月份
5讨论串
167被引(OpenAlex)
论文认为,如果不付出大量努力加以防止,按当今最强模型的方式训练出的 AGI 可能学会为获得更高奖励而欺骗行事、形成能泛化到微调分布之外的内部错位目标,并以寻求权力的策略追求这些目标。作者回顾了支持这些性质的新兴证据,修订版纳入了截至 2025 年初的更直接的实证证据。文章最后简述错位 AGI 的部署可能不可逆地削弱人类对世界的控制,并梳理旨在防止这一结果的研究方向。
HN 为什么提它
评论者把它放进 AGI 风险阅读清单,作为论证深度学习系统可能产生欺骗性、追求权力的错位目标的出处。
观点难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习与 RLHF 基础
2深度学习与大语言模型
3AI 对齐问题(AI alignment)
4目标泛化与奖励黑客(reward hacking)
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用codeflo · 2023-03
指出出处是它,论证 AGI 可能学到未对齐、欺骗、追求权力的目标,自己没读过
引用lhl · 2023-04
“Ngo, Richard, Lawrence Chan, and Sören Mindermann. “The Alignment Problem from a Deep Learning Perspective.” arXiv, February 22, 2023. The Alignment Problem from a Deep Learning Perspective.”
引它论证基于深度学习的 AGI 有未对齐的风险
引用lhl · 2023-04
“Ngo, Richard, Lawrence Chan, and Sören Mindermann. “The Alignment Problem from a Deep Learning Perspective.” arXiv, February 22, 2023. The Alignment Problem from a Deep Learning Perspective.”
把它列入 AGI 风险阅读清单,讨论深度学习系统的对齐问题
被提交为 story · 2 次
- The alignment problem from a deep learning perspective ↗super256 · 2023-02-19 · 1 分
- The Alignment Problem from a Deep Learning Perspective ↗occamschainsaw · 2024-12-08 · 3 分