引用frabcus · 2023-11
“But to be fair, there's also lots going on the weights of GPT-4, e.g. see Language Models Represent Space and Time”
引用它说明 GPT-4 的权重里也有很多东西,LLM 内部表征了空间与时间
Llama-2内部以线性方式表征空间和时间,存在对应神经元
作者分析 Llama-2 系列模型在三个空间数据集(世界、美国、纽约地点)和三个时间数据集(历史人物、艺术品、新闻标题)上的内部表征,发现模型学到了跨多个尺度的空间和时间线性表征,对提示变化稳健,并且在不同实体类型间统一。他们还找到能稳定编码空间或时间坐标的单个“空间神经元”和“时间神经元”,认为大模型具备世界模型的基本要素,但仍需进一步研究。
HN 评论者拿它反驳“LLM 只学到表面统计”,当作模型内部有时空表征、可能具备世界模型的证据。
“But to be fair, there's also lots going on the weights of GPT-4, e.g. see Language Models Represent Space and Time”
“Language Models Represent Space and Time (modeling space and time)”
“our results suggest modern LLMs learn rich spatiotemporal representations of the real world and possess basic ingredients of a world model.”
“And in order to predict the next token well they have to build world models, otherwise they would just output nonsense. This has been proven [1].”