按年被提到
20252025 · 5 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2505.17117 · cs.CL

From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning

从 Token 到思想:LLM 与人类如何在压缩与意义之间权衡
Chen Shani, Liron Soffer, Dan Jurafsky, Yann LeCun, Ravid Shwartz-Ziv · 2025

用信息瓶颈框架比较 LLM 与人类概念结构:LLM 压缩更激进

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2025-05-30 · 最近 2025-11-22
4不同的人
5活跃月份
5讨论串
—被引(OpenAlex)

论文用信息瓶颈(Information Bottleneck)框架,在经典分类基准上比较人类概念结构与 40 多个 LLM 的嵌入。发现 LLM 大体与人类的类别边界一致,但在细粒度语义区分上不足;人类保留“低效”的表征以保存语境细微差别,LLM 则激进压缩,在信息论意义上更优,却牺牲了语义丰富度。出人意料的是,编码器模型在与人类对齐上优于大得多的解码器模型;训练动态分析显示先快速形成概念、再进行架构重组,语义处理从深层迁移到中间层。

HN 为什么提它

评论者引用这篇有 Jurafsky 和 LeCun 参与的论文,说明 LLM 会激进地压缩信息并舍弃细微差别,并据此讨论概念的典型性。

实证研究难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1信息瓶颈(Information Bottleneck)与率失真理论
2词嵌入与语言模型表征
3认知科学中的概念与范畴化
4编码器与解码器模型

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Xmd5a · 2025-07

“Jurafsky, Lecun & two more fellows dropped this paper recently: From Tokens to Thoughts”

指出 Jurafsky、LeCun 等人最近发表了这篇比较 LLM 与人类概念结构的论文
Hilbert's sixth problem: derivation of fluid equations via Boltzmann's theory原评论 ↗
引用mbando · 2025-10

“so they aggressively compress information and trade away nuance.”

引用它说明 LLM 会激进地压缩信息,牺牲细微差别
DeepSeek OCR原评论 ↗
引用Xmd5a · 2025-11

“From typicality tests in the paper above, we can jump to:”

从论文中的典型性测试出发,继续推进后面的论点
Weight-sparse transformers have interpretable circuits [pdf]原评论 ↗
被提交为 story · 2 次