引用narvind · 2018-05
“is very close to the ideas described here: The Consciousness Prior”
认为所述想法与这篇论文非常接近
提出受意识理论启发的表征学习先验:用注意力选出少数概念构成低维意识状态。
论文提出一种用于学习高层概念表征的“意识先验”:受认知神经科学中意识理论启发,假设意识是一个瓶颈,注意力从大量元素中选出少数几个,组成低维的“意识状态”,类似一句话。作者认为这对应高层概念联合分布呈稀疏因子图的假设,并可把意识状态映射到自然语言或经典 AI 的事实与规则形式。这是一篇提出设想的概念性论文,没有给出实验结果。
HN 上仅有评论者把它当作相关参考,说它与自己讨论的“智能体使用压缩的低维状态变量”的想法很接近。
这条路径帮你补上注意力机制和变分生成模型两块背景,再去读用注意力选出少数概念形成「意识状态」的先验。
给出神经网络用注意力逐步选择输入局部的具体例子,对应「选出少数元素」的直觉。
读看软注意力与硬注意力的区别,以及注意力权重的可视化。
目标论文:提出把意识当作注意力选出的低维瓶颈的表征学习先验。
读理解意识状态、注意力选择和用语言概念表达状态这几个核心设定;这是一篇偏概念的文章。
“is very close to the ideas described here: The Consciousness Prior”