引用Xmd5a · 2025-07
“Jurafsky, Lecun & two more fellows dropped this paper recently: From Tokens to Thoughts”
指出 Jurafsky、LeCun 等人最近发表了这篇比较 LLM 与人类概念结构的论文
用信息瓶颈框架比较 LLM 与人类概念结构:LLM 压缩更激进
论文用信息瓶颈(Information Bottleneck)框架,在经典分类基准上比较人类概念结构与 40 多个 LLM 的嵌入。发现 LLM 大体与人类的类别边界一致,但在细粒度语义区分上不足;人类保留“低效”的表征以保存语境细微差别,LLM 则激进压缩,在信息论意义上更优,却牺牲了语义丰富度。出人意料的是,编码器模型在与人类对齐上优于大得多的解码器模型;训练动态分析显示先快速形成概念、再进行架构重组,语义处理从深层迁移到中间层。
评论者引用这篇有 Jurafsky 和 LeCun 参与的论文,说明 LLM 会激进地压缩信息并舍弃细微差别,并据此讨论概念的典型性。
“Jurafsky, Lecun & two more fellows dropped this paper recently: From Tokens to Thoughts”
“so they aggressively compress information and trade away nuance.”
“From typicality tests in the paper above, we can jump to:”