按年被提到
20232023 · 3 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2310.02207 · cs.LG

Language Models Represent Space and Time

语言模型表征了空间与时间
Wes Gurnee, Max Tegmark · 2023

Llama-2内部以线性方式表征空间和时间,存在对应神经元

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2023-10-04 · 最近 2024-10-31
5不同的人
4活跃月份
5讨论串
144被引(OpenAlex)

作者分析 Llama-2 系列模型在三个空间数据集(世界、美国、纽约地点)和三个时间数据集(历史人物、艺术品、新闻标题)上的内部表征,发现模型学到了跨多个尺度的空间和时间线性表征,对提示变化稳健,并且在不同实体类型间统一。他们还找到能稳定编码空间或时间坐标的单个“空间神经元”和“时间神经元”,认为大模型具备世界模型的基本要素,但仍需进一步研究。

HN 为什么提它

HN 评论者拿它反驳“LLM 只学到表面统计”,当作模型内部有时空表征、可能具备世界模型的证据。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1大语言模型的内部表示(隐藏层激活)
2线性探针(linear probing)
3Llama-2 模型家族
4世界模型(world model)概念

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用frabcus · 2023-11

“But to be fair, there's also lots going on the weights of GPT-4, e.g. see Language Models Represent Space and Time”

引用它说明 GPT-4 的权重里也有很多东西,LLM 内部表征了空间与时间
A Coder Considers the Waning Days of the Craft原评论 ↗
引用kromem · 2023-11

“Language Models Represent Space and Time (modeling space and time)”

贴出这篇研究,显示 LLM 中存在空间和时间的线性表示
Ask HN: Convince me LLMs aren't just autocomplete with lookahead原评论 ↗
引用agucova · 2024-07

“our results suggest modern LLMs learn rich spatiotemporal representations of the real world and possess basic ingredients of a world model.”

引用它的结论:LLM 学到丰富的时空表示,具备世界模型的基本要素
ChatGPT Isn't 'Hallucinating'–It's Bullshitting – Scientific American原评论 ↗
引用naasking · 2024-10

“And in order to predict the next token well they have to build world models, otherwise they would just output nonsense. This has been proven [1].”

引用它作为证明:要预测好下一个 token,LLM 必须构建世界模型
Chain-of-thought can hurt performance on tasks where thinking makes humans worse原评论 ↗
被提交为 story · 1 次