按年被提到
20252025 · 2 次2026
AI 安全、伦理与社会影响›AI 风险与对齐·arXiv:2502.08640 · cs.LG

Utility Engineering: Analyzing and Controlling Emergent Value Systems in AIs

效用工程:分析与控制 AI 中涌现的价值体系
Mantas Mazeika, Xuwang Yin, Rishub Tamirisa, Jaehyuk Lim, Bruce W. Lee, Richard Ren, Long Phan, Norman Mu, Adam Khoja, Oliver Zhang, Dan Hendrycks · 2025

用效用函数检验 LLM 偏好的一致性,提出效用工程研究议程

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-03-17 · 最近 2026-03-03
3不同的人
3活跃月份
3讨论串
40被引(OpenAlex)

论文用效用函数框架研究 AI 偏好的内部一致性,发现当前 LLM 独立采样出的偏好表现出高度的结构一致性,并且这种一致性随规模涌现,作者据此认为 LLM 中已在有意义的层面出现价值体系。他们提出「效用工程」作为分析与控制 AI 效用的研究议程,发现助手模型存在令人担忧的价值取向(如把自己看得比人类重要),并以让效用与公民大会对齐的案例,展示效用控制能减少政治偏见并泛化到新场景。

HN 为什么提它

评论者引用它支持两个说法:AI 模型在政治上偏左,以及模型对不同群体的重视程度差异极大(通过交换比率体现),并追问 AI 公司是否回应过这类研究。

实证研究难度 3 / 5约 70 分钟有时效性
读之前最好知道
1大语言模型(LLM)基础
2效用理论与偏好一致性
3AI 对齐(alignment)
4偏好引出与选择模型

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用j-krieger · 2025-03

“Here is some research on that matter: Utility Engineering”

贴出相关研究,称 AI 模型在政治上偏左
OpenAI asks White House for relief from state AI rules原评论 ↗
引用ern_ave · 2026-03

“Has any AI company ever addressed studies like [1] which found that models value certain groups vastly more than others?”

问 AI 公司是否回应过这类研究:发现模型对某些群体的评价远高于其他群体
GPT‑5.3 Instant原评论 ↗
被提交为 story · 1 次