按年被提到
20242025 · 4 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2406.03689 · cs.CL

Evaluating the World Model Implicit in a Generative Model

评估生成模型中隐含的世界模型
Keyon Vafa, Justin Y. Chen, Ashesh Rambachan, Jon Kleinberg, Sendhil Mullainathan · 2024

借 Myhill-Nerode 定理评估 LLM 隐含世界模型是否连贯

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-06-22 · 最近 2025-10-20
3不同的人
4活跃月份
5讨论串
35被引(OpenAlex)

论文把「LLM 是否隐式学到世界模型」形式化为:底层现实由确定性有限自动机支配的情形,并受语言理论中的 Myhill-Nerode 定理启发提出新的世界模型恢复评估指标。在博弈、逻辑谜题和导航三个领域中,被测生成模型在现有诊断上表现良好,但新指标显示其世界模型远不如表面连贯,这种不连贯会让模型在相关但略有不同的任务上失败。

HN 为什么提它

评论者用它反驳或检验「LLM 已经建立了世界模型」的说法:模型能成为很好的预测器,但其隐含的世界与真实世界差别很大。

实证研究难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1有限自动机(DFA)
2Myhill-Nerode 定理
3Transformer 语言模型
4世界模型(world model)概念

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用godelski · 2025-08

“We can see them become very good predictors yet the world that they model for is significantly different from the one we live in.”

引它说明模型预测很准,但其隐含的世界与真实世界差异很大
Persona vectors: Monitoring and controlling character traits in language models原评论 ↗
引用godelski · 2025-10

“There's actually no strong evidence that LLMs, or any AI system, is actually building a world model.”

借它指出:并无有力证据表明 LLM 或任何 AI 在构建世界模型
How to inject knowledge efficiently? Knowledge infusion scaling law for LLMs原评论 ↗
引用godelski · 2025-10

“Vafa also has some good examples[1,2].”

指出作者 Vafa 还有几个好例子,说明预测准不等于世界模型正确
Andrej Karpathy – It will take a decade to work through the issues with agents原评论 ↗
引用godelski · 2025-10

“[1] Evaluating the World Model Implicit in a Generative Model”

Andrej Karpathy – It will take a decade to work through the issues with agents原评论 ↗
被提交为 story · 2 次