按年被提到
20232023 · 1 次2026
大模型与语言模型›可解释性与表征研究·arXiv:2310.01405 · cs.LG

Representation Engineering: A Top-Down Approach to AI Transparency

表征工程:自上而下的 AI 透明度方法
Andy Zou, Long Phan, Sarah Chen, James Campbell, Phillip Guo, Richard Ren, Alexander Pan, Xuwang Yin, Mantas Mazeika, Ann-Kathrin Dombrowski, Shashwat Goel, Nathaniel Li 等 21 人 · 2023

表征工程:从表示层面监测并操控大模型行为

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2023-10-04 · 最近 2025-09-11
3不同的人
3活跃月份
3讨论串
413被引(OpenAlex)

论文界定并刻画了表征工程(RepE)这一新兴方向:借鉴认知神经科学,把群体层面的表示而非单个神经元或电路作为分析核心,用来监测和操控深度神经网络中的高层认知现象。作者给出基线和初步分析,表明这些方法能以简单而有效的方式提升对大语言模型的理解和控制,并展示了它们在诚实性、无害性、寻求权力等安全相关问题上的作用。

HN 为什么提它

评论者拿它说明可以通过读取和调整模型内部激活(表征)来转向模型行为,例如情绪状态如何在 LLM 激活中出现并影响其顺从度。

方法难度 4 / 5约 90 分钟经得起时间
读之前最好知道
1Transformer 与大语言模型
2神经网络可解释性(interpretability)
3激活空间与表示(representation)
4AI 对齐与安全基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐regularfry · 2024-02

“Have a read of Representation Engineering.”

推荐读它,了解情绪状态如何在 LLM 激活中出现并影响顺从度
Does offering ChatGPT a tip cause it to generate better text?原评论 ↗
引用13point5 · 2025-09

“Link: Representation Engineering”

贴出表征工程论文,通过激活来引导模型行为
You can change an LLM's favorite color with a Steering Vector原评论 ↗
被提交为 story · 1 次