按年被提到
20242024 · 3 次2026
机器学习与深度学习›优化与可微编程·arXiv:2401.14953 · cs.LG

Learning Universal Predictors

学习通用预测器
Jordi Grau-Moya, Tim Genewein, Marcus Hutter, Laurent Orseau, Grégoire Delétang, Elliot Catt, Anian Ruoss, Li Kevin Wenliang, Christopher Mattern, Matthew Aitchison, Joel Veness · 2024

用通用图灵机生成数据做元学习,让网络摊销 Solomonoff 归纳。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-01-29 · 最近 2024-05-01
3不同的人
3活跃月份
3讨论串
5被引(OpenAlex)

探讨元学习的极限:能否把最强的通用预测器——Solomonoff 归纳(SI)——通过元学习摊销进神经网络。作者用通用图灵机(UTM)生成训练数据,让网络接触广泛的模式,并对 UTM 数据生成过程和元训练方案做理论分析。在 LSTM、Transformer 等神经架构以及复杂度和通用性各异的算法数据生成器上做了全面实验,结果表明 UTM 数据是元学习的宝贵资源,可用来训练出能学习通用预测策略的神经网络。

HN 为什么提它

有人引它作为 Hutter 团队的论文,称其论证 LLM 通过情境学习近似 Solomonoff 归纳;也有评论批评从理论角度看,其所用机器缺少输入带,因而不是最优的描述方法。

方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1Solomonoff 归纳(Solomonoff induction)
2通用图灵机(UTM)与算法信息论基础
3元学习(meta-learning)
4LSTM 与 Transformer 架构

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评tromp · 2024-02

“From a theoretical viewpoint, its biggest flaw is the lack of an input tape, which makes it a non-optimal description method in the sense of [2].”

Vyxal: A code-golfing language experience原评论 ↗
引用Xcelerate · 2024-05

“See this recent paper by Hutter's team: Learning Universal Predictors”

推荐 Hutter 团队的这篇论文:LLM 通过 in-context learning 近似 Solomonoff 归纳
Better and Faster Large Language Models via Multi-Token Prediction原评论 ↗
被提交为 story · 1 次