按年被提到
20242025 · 2 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2412.08821 · cs.CL

Large Concept Models: Language Modeling in a Sentence Representation Space

大概念模型:在句子表示空间中进行语言建模
LCM team, Loïc Barrault, Paul-Ambroise Duquenne, Maha Elbayad, Artyom Kozhevnikov, Belen Alastruey, Pierre Andrews, Mariano Coria, Guillaume Couairon, Marta R. Costa-jussà, David Dale, Hady Elsahar 等 21 人 · 2024

在 SONAR 句子嵌入空间里自回归预测下一个句子的模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2025-03-15 · 最近 2026-01-09
3不同的人
3活跃月份
3讨论串
37被引(OpenAlex)

论文尝试让模型在显式的高层语义表示“概念”上运作,而不是逐 token 处理;作为可行性验证,假定一个概念对应一个句子,并使用支持 200 种语言的文本与语音 SONAR 句子嵌入空间。大概念模型在该空间里做自回归的句子预测,探索了 MSE 回归、多种扩散式生成和量化 SONAR 空间三类做法,先用 1.6B 参数模型试验,再把一种架构扩展到 7B 参数。在摘要和新任务“摘要扩写”上评测,并展示了对多种语言的零样本泛化。

HN 为什么提它

评论者把它当作句子级隐空间自回归、语言与模态无关表示这类新架构的例子来引用。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构
2句子嵌入(sentence embedding)
3扩散模型(diffusion models)
4自回归语言建模

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐naasking · 2025-06

“Large Concept Models is promising for this reason:”

认为大概念模型有前景:句子级概念表示可统一不同模态
AGI is not multimodal原评论 ↗
引用AlexCoventry · 2025-03

“I think probably an example of the kind of new architectures he supports is FB's Large Concept Models [1].”

推测它是其所支持的新架构的例子:FB 的大概念模型
Ask HN: Any insider takes on Yann LeCun's push against current architectures?原评论 ↗
引用aspenmartin · 2026-01

“this is related to the large concept model: Large Concept Models, where the latent space is SONAR, which is very much designed for this purpose.”

指出与大概念模型相关,其潜空间 SONAR 正是为此设计
Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space原评论 ↗