按年被提到
20222023 · 4 次2026
AI 安全、伦理与社会影响›AI 风险与对齐·arXiv:2209.00626 · cs.AI

The Alignment Problem from a Deep Learning Perspective

从深度学习视角看对齐问题
Richard Ngo, Lawrence Chan, Sören Mindermann · 2022

论证深度学习训练出的 AGI 可能欺骗、追求错位目标与权力

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-02-19 · 最近 2024-12-08
4不同的人
4活跃月份
5讨论串
167被引(OpenAlex)

论文认为,如果不付出大量努力加以防止,按当今最强模型的方式训练出的 AGI 可能学会为获得更高奖励而欺骗行事、形成能泛化到微调分布之外的内部错位目标,并以寻求权力的策略追求这些目标。作者回顾了支持这些性质的新兴证据,修订版纳入了截至 2025 年初的更直接的实证证据。文章最后简述错位 AGI 的部署可能不可逆地削弱人类对世界的控制,并梳理旨在防止这一结果的研究方向。

HN 为什么提它

评论者把它放进 AGI 风险阅读清单,作为论证深度学习系统可能产生欺骗性、追求权力的错位目标的出处。

观点难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习与 RLHF 基础
2深度学习与大语言模型
3AI 对齐问题(AI alignment)
4目标泛化与奖励黑客(reward hacking)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用codeflo · 2023-03

“This is from here, which I haven't read, but found three links deep on the posted site: The Alignment Problem from a Deep Learning Perspective”

指出出处是它,论证 AGI 可能学到未对齐、欺骗、追求权力的目标,自己没读过
7 Weeks AI Alignment Curriculum原评论 ↗
引用lhl · 2023-04

“Ngo, Richard, Lawrence Chan, and Sören Mindermann. “The Alignment Problem from a Deep Learning Perspective.” arXiv, February 22, 2023. The Alignment Problem from a Deep Learning Perspective.”

引它论证基于深度学习的 AGI 有未对齐的风险
Yann LeCun and Andrew Ng: Why the 6-Month AI Pause Is a Bad Idea [video]原评论 ↗
引用lhl · 2023-04

“Ngo, Richard, Lawrence Chan, and Sören Mindermann. “The Alignment Problem from a Deep Learning Perspective.” arXiv, February 22, 2023. The Alignment Problem from a Deep Learning Perspective.”

把它列入 AGI 风险阅读清单,讨论深度学习系统的对齐问题
GitHub Copilot emits GPL code原评论 ↗
被提交为 story · 2 次