批评tromp · 2024-02
“From a theoretical viewpoint, its biggest flaw is the lack of an input tape, which makes it a non-optimal description method in the sense of [2].”
用通用图灵机生成数据做元学习,让网络摊销 Solomonoff 归纳。
探讨元学习的极限:能否把最强的通用预测器——Solomonoff 归纳(SI)——通过元学习摊销进神经网络。作者用通用图灵机(UTM)生成训练数据,让网络接触广泛的模式,并对 UTM 数据生成过程和元训练方案做理论分析。在 LSTM、Transformer 等神经架构以及复杂度和通用性各异的算法数据生成器上做了全面实验,结果表明 UTM 数据是元学习的宝贵资源,可用来训练出能学习通用预测策略的神经网络。
有人引它作为 Hutter 团队的论文,称其论证 LLM 通过情境学习近似 Solomonoff 归纳;也有评论批评从理论角度看,其所用机器缺少输入带,因而不是最优的描述方法。
“From a theoretical viewpoint, its biggest flaw is the lack of an input tape, which makes it a non-optimal description method in the sense of [2].”
“See this recent paper by Hutter's team: Learning Universal Predictors”