按年被提到
20172017 · 5 次2026
大模型与语言模型›可解释性与表征研究·arXiv:1709.08568 · cs.LG

The Consciousness Prior

意识先验
Yoshua Bengio · 2017

提出受意识理论启发的表征学习先验:用注意力选出少数概念构成低维意识状态。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2017-09-26 · 最近 2019-12-12
7不同的人
4活跃月份
7讨论串
155被引(OpenAlex)

论文提出一种用于学习高层概念表征的“意识先验”:受认知神经科学中意识理论启发,假设意识是一个瓶颈,注意力从大量元素中选出少数几个,组成低维的“意识状态”,类似一句话。作者认为这对应高层概念联合分布呈稀疏因子图的假设,并可把意识状态映射到自然语言或经典 AI 的事实与规则形式。这是一篇提出设想的概念性论文,没有给出实验结果。

HN 为什么提它

HN 上仅有评论者把它当作相关参考,说它与自己讨论的“智能体使用压缩的低维状态变量”的想法很接近。

观点难度 4 / 5约 25 分钟经得起时间
读之前最好知道
1表征学习(representation learning)
2注意力机制(attention)
3概率图模型与因子图(factor graph)
4解耦表征(disentanglement)

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你补上注意力机制和变分生成模型两块背景,再去读用注意力选出少数概念形成「意识状态」的先验。

  1. 1
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    意识先验讨论高层表征学习,VAE 是学习潜在表征的代表性生成框架。

    读理解潜在变量、重参数化和变分下界的基本想法,推导细节可略读。

  2. 2
    Show, Attend and Tell: Neural Image Caption Generation with Visual Attention展示、注意与讲述:带视觉注意力的神经图像描述生成 · 2015

    给出神经网络用注意力逐步选择输入局部的具体例子,对应「选出少数元素」的直觉。

    读看软注意力与硬注意力的区别,以及注意力权重的可视化。

  3. 3
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Transformer 的注意力机制是当下实现「从大池子里选元素」的标准形式。

    读抓住缩放点积注意力和多头注意力的概念;跳过实验部分。

  4. 4
    The Consciousness Prior意识先验 · 2017 · 就是这篇

    目标论文:提出把意识当作注意力选出的低维瓶颈的表征学习先验。

    读理解意识状态、注意力选择和用语言概念表达状态这几个核心设定;这是一篇偏概念的文章。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用narvind · 2018-05

“is very close to the ideas described here: The Consciousness Prior”

认为所述想法与这篇论文非常接近
Unsupervised Predictive Memory in a Goal-Directed Agent原评论 ↗
被提交为 story · 6 次