“This is about the Debate paper, and is an idea that is being taken quite seriously - AI safety via debate”
AI safety via debate
让两个智能体辩论、由人类评判的 AI 对齐方案
当任务复杂到人类无法直接判断时,靠人类在训练中评判行为是否安全有益的方法会失效。论文提出通过在零和辩论博弈中自我对弈来训练智能体:给定问题或拟议行动,两个智能体轮流做限长陈述,再由人类裁判谁给出了更真实有用的信息。类比复杂性理论,在最优博弈下,辩论可在多项式时间的裁判下回答 PSPACE 中的任意问题(直接评判只能回答 NP 问题)。初步 MNIST 实验中,智能体竞相说服稀疏分类器,给定 6 个像素时分类器准确率从 59.4% 升到 88.9%,给定 4 个像素时从 48.2% 升到 85.2%;论文还讨论了规模扩大后的潜在弱点和后续实验。
评论者把辩论当作被认真对待的 AI 对齐思路:设计博弈让超人类智能体的最佳策略就是诚实,以防止欺骗。
学习路径
读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出候选里只有 AlphaZero 与「辩论」的自我对弈训练思路直接相关,其他是国际象棋或围棋的具体引擎,相关性不足,所以路径很短。
- 1
辩论方案借用了零和博弈中自我对弈训练的思路,AlphaZero 是最典型的例子。
读自我对弈加搜索的训练流程与它在零和博弈里的效果;理解为什么类似思路可用于辩论博弈。
- 2AI safety via debate
目标论文:提出让两个智能体辩论、由人类评判,以解决人类难以直接评判复杂任务的问题。
读辩论博弈的规则、与复杂度类(如 PSPACE)的类比,以及 MNIST 稀疏分类器的小实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“which hopes to prevent deception by carefully constructing games in which a superhuman agent's best strategy is honesty.”
“Some 'classic' responses here relate to (a) inter-notator agreement [1]; (b) debate [2]; (c) decomposition / deconstruction [3]”
- AI safety via debate ↗alokrai · 2018-07-25 · 1 分
- AI safety via debate ↗marojejian · 2018-07-30 · 2 分