按年被提到
20262026 · 4 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2604.24827 · cs.LG

Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity

不可压缩知识探针:通过事实容量估计黑盒大模型的参数量
Bojie Li · 2026

用难压缩的冷门事实考模型,粗略估计闭源模型参数量

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2026-04-30 · 最近 2026-09-02
3不同的人
4活跃月份
4讨论串
0被引(OpenAlex)

论文认为存储 F 条事实至少需要 F/(每参数比特数)个权重,因此事实记忆能力给出参数量的下界。作者构建了含 1,400 道、分 7 个冷门程度档次的事实题基准 IKP,在 93 个开源模型(135M 到 1,600B)上校准准确率到参数量的对数线性映射,R^2 为 0.910。该方法刻意设计得较粗:90% 预测区间约为上下 3 倍,只能恢复数量级和相对排名;对 MoE 模型,总参数量比激活参数量更能预测知识量,并给出主要闭源前沿模型的有效知识容量区间。

HN 为什么提它

评论者用它来估算闭源模型的参数量:用难以压缩的冷门事实考模型,再用开源模型校准。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1LLM 参数量与知识容量
2混合专家(Mixture-of-Experts)模型
3回归分析与交叉验证
4LLM 评测基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用WarmWash · 2026-05

“Opus is estimated to be around 4T parameters, and 5.5 around 9T.”

引用探针估计:Opus 约 4T 参数,5.5 约 9T
Gemini 3.5 Flash原评论 ↗
引用thoughtpeddler · 2026-08

“Oh ya, this is like the approach from the Incompressible Knowledge Probes [0] paper - smart!”

称赞某做法类似这篇用事实知识容量估计黑盒模型规模的方法
AMD acquires Taalas to boost inference performance by etching models in silicon原评论 ↗
引用WarmWash · 2026-09

“The short of it is by using hard facts knowledge that is difficult to compress, and then quizzing models on these facts and calibrating against a bunch of open models, you can kind of feel out the size of closed models.”

概括其方法:用难压缩的事实考模型,对照开源模型估计闭源模型规模
Gemini 3.8 Flash and 3.8 Flash Cyber原评论 ↗
被提交为 story · 1 次