按年被提到
20222022 · 2 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:2207.01848 · cs.LG

TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

TabPFN:一秒内解决小型表格分类问题的 Transformer
Noah Hollmann, Samuel Müller, Katharina Eggensperger, Frank Hutter · 2022

无需调参的 Transformer,一次前向传播完成小表格分类

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-08-03 · 最近 2023-08-26
3不同的人
3活跃月份
3讨论串
284被引(OpenAlex)

TabPFN 是一个预先训练好的 Transformer,能在一秒内完成小型表格数据集的监督分类,无需调超参数,性能可与最先进方法相当。它靠上下文学习,把训练样本和测试样本作为集合输入,在一次前向传播中给出整个测试集的预测;它是先验数据拟合网络(PFN),离线一次性训练,用来近似基于合成数据集的贝叶斯推断,先验由偏好简单结构的结构因果模型构成。在 OpenML-CC18 的 18 个小数据集上明显优于提升树,与复杂 AutoML 系统持平,速度最高快 230 倍(用 GPU 时 5,700 倍)。

HN 为什么提它

评论者引用它说明神经网络加元学习在小数据集上也行得通,并称它在 1 秒内的 ROC 就优于 XGBoost。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 架构
2上下文学习(in-context learning)
3贝叶斯推断(Bayesian inference)
4结构因果模型(structural causal models)
5梯度提升树与 AutoML

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ersiees · 2022-08

“so far we are successful with NNs for small datasets with meta-learning”

引它说明元学习让神经网络在小数据集上取得成功
Why do tree-based models still outperform deep learning on tabular data?原评论 ↗
引用westurner · 2023-08

“TabPFN has a better ROC Receiver Operating Characteristic after 1 second than XGboost”

拿它说明 TabPFN 一秒后的 ROC 就优于 XGBoost
Interpretable Graph Neural Networks for Tabular Data原评论 ↗
被提交为 story · 1 次