按年被提到
20252025 · 3 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:2506.20057 · cs.LG

Universal pre-training by iterated random computation

通过迭代随机计算进行通用预训练
Peter Bloem · 2025

用随机生成的数据预训练模型,并给出算法复杂度视角的理论依据

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-06-29 · 最近 2026-03-19
3不同的人
4活跃月份
4讨论串
0被引(OpenAlex)

论文研究用随机生成的数据来预训练模型,并从算法复杂度角度做理论论证,建立在序列模型可训练来逼近 Solomonoff 归纳的已有研究之上。实验复现了此前的结果:这样预训练的模型在多种数据集上表现出零样本上下文学习,且性能随规模提升;作者还把结果扩展到真实数据,显示这种预训练后再微调能更快收敛、泛化更好。

HN 为什么提它

评论者用它说明预训练数据不一定非得是文本,可以由迭代随机计算生成,并把它与合成数据预训练的其他讨论相互参照。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1算法复杂度(Kolmogorov 复杂度)
2Solomonoff 归纳
3序列模型预训练
4上下文学习(in-context learning)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用benob · 2025-09

“Stop thinking about text being the data. There are so many other sources, even some that you can generate.”

借它说明数据不只是文本,还有很多可生成的来源
The Bitter Lesson Is Misunderstood原评论 ↗
引用ACCount37 · 2025-10

“Plausible - because of papers like this one: Universal pre-training by iterated random computation”

拿它说明这种说法有道理
Less is more: Recursive reasoning with tiny networks原评论 ↗
引用benob · 2026-03

“Reminds me of "Universal pre-training by iterated random computation" Universal pre-training by iterated random computation, with bit less formal approach.”

觉得所讨论的做法让人想起它,只是不够形式化
Pretraining Language Models via Neural Cellular Automata原评论 ↗
被提交为 story · 1 次