按年被提到
20162016 · 5 次2026
AI 安全、伦理与社会影响›AI 风险与对齐·arXiv:1606.06565 · cs.AI

Concrete Problems in AI Safety

AI 安全中的具体问题
Dario Amodei, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, Dan Mané · 2016

归纳 AI 事故风险的五个可研究的具体问题

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 18 人首次 2016-06-22 · 最近 2026-11-03
18不同的人
15活跃月份
19讨论串
1,313被引(OpenAlex)

讨论机器学习系统的意外事故,即由真实世界 AI 系统设计不当导致的非预期有害行为,并列出五个相关的实际研究问题:目标函数错误引起的避免副作用和避免奖励作弊,目标函数评估成本过高引起的可扩展监督,学习过程中的不良行为引起的安全探索和分布偏移。论文回顾已有工作,提出面向前沿 AI 系统的研究方向,并探讨如何富有成效地思考前瞻性应用的安全问题。

HN 为什么提它

评论者把它作为 AI 安全问题的经典入门读物,尤其是强化学习里的安全探索,并常引用它来说明相关研究者(如 Dario Amodei)很早就在思考 AI 安全。

观点难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习基础
2目标函数与奖励设计
3机器学习的分布偏移(distributional shift)
4AI 安全与对齐的基本问题

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立强化学习的目标函数问题、对抗样本和分布偏移、不确定性估计的基础,再读五类具体的 AI 安全问题。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度强化学习是奖励黑客、副作用等问题的主要背景。

    读读 DQN 如何用奖励信号从像素学习策略,理解目标函数设定如何决定行为。

  2. 2
    Intriguing properties of neural networks神经网络的有趣性质 · 2013

    对抗样本说明网络在轻微扰动下会犯错,对应鲁棒性与分布偏移的问题。

    读抓微小扰动导致误分类的现象,以及对泛化的含义。

  3. 3
    Explaining and Harnessing Adversarial Examples解释并利用对抗样本 · 2014

    给出对抗样本的线性解释和快速生成方法,常被当作鲁棒性问题的标准例子。

    读读 FGSM 方法和线性解释。

  4. 4
    Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images深度神经网络很容易被愚弄:对无法辨认的图像给出高置信度预测 · 2014

    对无法辨认的输入给出高置信预测,对应系统在陌生输入上自信出错的风险。

    读看噪声图被高置信度分类的例子,思考模型在分布外输入上的表现。

  5. 5
    Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning把 Dropout 看作贝叶斯近似:表示深度学习中的模型不确定性 · 2015

    不确定性估计是论文讨论的安全探索与分布偏移中的核心工具。

    读抓 dropout 近似贝叶斯推断得到预测不确定性的思路,不必细读推导。

  6. 6
    Concrete Problems in AI SafetyAI 安全中的具体问题 · 2016 · 就是这篇

    把事故风险归纳为五类具体的研究问题,如副作用、奖励黑客、可扩展监督、安全探索、分布偏移。

    读读引言和每类问题的定义与例子,对照前面几篇理解各个问题在技术上的来源。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐logicallee · 2018-05

“To anyone else here is their excellent 2016 paper linked from the above:”

推荐这篇 2016 年的出色论文,给出 AI 安全的具体问题
OpenAI Research原评论 ↗
推荐currymj · 2018-10

“"Concrete Problems in AI Safety" is quite good, and worth reading and thinking about.”

称它很好,值得读和思考,尤其与 RL 系统相关
Ask HN: Examples of AI ethical principles?原评论 ↗
推荐Tyr42 · 2019-11

“Concrete Problems in AI Safety (Section 6 in particular is about safe exploration)”

推荐其中第 6 节,讲安全探索
Safety Gym原评论 ↗
批评Animats · 2021-05

“None of the tweaks on machine learning they suggest do that, though.”

Anthropic AI原评论 ↗
引用colah3 · 2016-06

“Paper: Concrete Problems in AI Safety”

贴出这篇与 OpenAI 研究者合写的 AI 安全论文
Concrete AI Safety Problems原评论 ↗
引用evc123 · 2016-07

“According to this paper Concrete Problems in AI Safety, OpenAI (John Schulman and Paul Christiano) explicitly indicate interest in researching transparency and strongly support work on fairness.”

引用它说明 OpenAI 研究者明确关注透明性与公平性
Simple questions to help reduce AI hype原评论 ↗
看全部 14 条 →
引用apsec112 · 2017-10

“These papers try to summarize possible research directions:”

把它列为总结可能研究方向的论文之一
The Last Invention of Man原评论 ↗
引用damodei · 2017-10

“and this Concrete Problems in AI Safety (done while I was still at Google, but in collaboration with OpenAI people right before I joined OpenAI).”

引用它作为自己过去在 Google 与 OpenAI 合作的安全工作
OpenAI's Researchers: Protecting Against AI’s Existential Threat原评论 ↗
引用pde3 · 2019-12

“See eg Concrete Problems in AI Safety or [LINK] for discussions of the problem space.”

推荐它用来了解 RL 安全问题的整体范围
SafeLife: AI Safety Environments Based on Conway's Game of Life原评论 ↗
引用unholiness · 2021-10

“Some overlap here with the 2017 paper from Google Brain et al: Concrete Problems in AI Safety: Concrete Problems in AI Safety.”

给出这篇 Google Brain 的相关论文,与当前话题有重叠
Unsolved Problems in ML Safety原评论 ↗
引用lhl · 2023-04

“Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, and Dan Mané. “Concrete Problems in AI Safety.” arXiv, July 25, 2016. Concrete Problems in AI Safety.”

把它列为近期阅读的 AI 安全开放问题
Yann LeCun and Andrew Ng: Why the 6-Month AI Pause Is a Bad Idea [video]原评论 ↗
引用ianm218 · 2026-06

“Here is Dario writing about AI safety in 2016 [1].”

拿它展示 Dario 2016 年就在写 AI 安全
Did Anthropic ask for this?原评论 ↗
引用reasonableklout · 2026-07

“Ok but Dario has been thinking about AI Safety since 2016 [1], before even GPT-1.”

拿它证明 Dario 早在 GPT-1 之前就关注 AI 安全
Our position on open-weights models原评论 ↗
引用reasonableklout · 2026-11

“Dario has been publishing papers on AI safety since 2016, before GPT-1 or even transformers existed: Concrete Problems in AI Safety”

拿它说明 Dario 早在 2016 年就在发表 AI 安全论文
Astra can read and write weights to improve Qwen原评论 ↗
被提交为 story · 5 次