引用ersiees · 2022-08
“so far we are successful with NNs for small datasets with meta-learning”
引它说明元学习让神经网络在小数据集上取得成功
无需调参的 Transformer,一次前向传播完成小表格分类
TabPFN 是一个预先训练好的 Transformer,能在一秒内完成小型表格数据集的监督分类,无需调超参数,性能可与最先进方法相当。它靠上下文学习,把训练样本和测试样本作为集合输入,在一次前向传播中给出整个测试集的预测;它是先验数据拟合网络(PFN),离线一次性训练,用来近似基于合成数据集的贝叶斯推断,先验由偏好简单结构的结构因果模型构成。在 OpenML-CC18 的 18 个小数据集上明显优于提升树,与复杂 AutoML 系统持平,速度最高快 230 倍(用 GPU 时 5,700 倍)。
评论者引用它说明神经网络加元学习在小数据集上也行得通,并称它在 1 秒内的 ROC 就优于 XGBoost。
“so far we are successful with NNs for small datasets with meta-learning”
“TabPFN has a better ROC Receiver Operating Characteristic after 1 second than XGboost”