按年被提到
20232023 · 3 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2304.09960 · cs.CL

A Latent Space Theory for Emergent Abilities in Large Language Models

大语言模型涌现能力的潜空间理论
Hui Jiang · 2023

用稀疏联合分布上的贝叶斯推断解释大模型的涌现能力。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-04-21 · 最近 2023-08-07
3不同的人
3活跃月份
3讨论串
14被引(OpenAlex)

语言是为传递信息而造的,语言与其含义之间高度相关,使二者的联合分布稀疏且尖峰化,这些峰值又恰好与语言的边缘分布相吻合。借助用大数据和大模型训练出的 LLM,可以较精确地估计语言的边缘分布,从而探索联合分布的稀疏结构。论文把语言分为无歧义和 ε-歧义两类,并给出定量结果,说明语言理解、情境学习、思维链提示和有效的指令微调等涌现能力都可归因于在这一稀疏联合分布上的贝叶斯推断。

HN 为什么提它

输入里只有一条被点名的引用:评论者把它列为解释大模型涌现能力的“潜空间理论”,没有更多的评论内容可依据。

其他难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1大语言模型的涌现能力(emergent abilities)
2贝叶斯推断(Bayesian inference)
3联合分布与边缘分布
4情境学习(in-context learning)与思维链(chain-of-thought)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用naasking · 2023-08

“A Latent Space Theory for Emergent Abilities in Large Language Models, A Latent Space Theory for Emergent Abilities in Large Language Models”

列出论文:用潜空间理论解释 LLM 的涌现能力
Multimodal Neurons in Pretrained Text-Only Transformers原评论 ↗
被提交为 story · 2 次