推荐regularfry · 2024-02
“Have a read of Representation Engineering.”
推荐读它,了解情绪状态如何在 LLM 激活中出现并影响顺从度
表征工程:从表示层面监测并操控大模型行为
论文界定并刻画了表征工程(RepE)这一新兴方向:借鉴认知神经科学,把群体层面的表示而非单个神经元或电路作为分析核心,用来监测和操控深度神经网络中的高层认知现象。作者给出基线和初步分析,表明这些方法能以简单而有效的方式提升对大语言模型的理解和控制,并展示了它们在诚实性、无害性、寻求权力等安全相关问题上的作用。
评论者拿它说明可以通过读取和调整模型内部激活(表征)来转向模型行为,例如情绪状态如何在 LLM 激活中出现并影响其顺从度。
“Have a read of Representation Engineering.”
“Link: Representation Engineering”