按年被提到
20222022 · 2 次2026
机器学习与深度学习›神经网络架构探索·arXiv:2207.08815 · cs.LG

Why do tree-based models still outperform deep learning on tabular data?

为什么在表格数据上,树模型仍然胜过深度学习?
Léo Grinsztajn, Edouard Oyallon, Gaël Varoquaux · 2022

大规模基准显示中等规模表格数据上树模型仍优于神经网络

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2022-07-24 · 最近 2024-03-05
4不同的人
4活跃月份
4讨论串
582被引(OpenAlex)

作者在 45 个表格数据集上、跨大量超参数组合,系统比较了深度学习方法与 XGBoost、Random Forest 等树模型,发现在约 1 万样本的中等规模数据上,树模型仍是最优,即使不计其速度优势。随后分析两类模型归纳偏置的差异,总结出表格专用神经网络需要应对的三点:对无信息特征鲁棒、保留数据的方向、容易学习不规则函数。论文同时公开了基准与超参数搜索的原始结果。

HN 为什么提它

评论者用它解释为何树模型在表格数据上仍难被深度学习取代,以及深度学习在小数据下可能怎样改进。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1决策树与梯度提升(XGBoost)
2神经网络基础
3超参数搜索(hyperparameter search)
4归纳偏置(inductive bias)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用wenc · 2023-10

“This paper mentions why and how DL could might better (if it indeed can, with limited sized data).”

引它说明树模型为何仍胜过深度学习,以及深度学习如何可能做得更好
Inverted Transformers Are Effective for Time Series Forecasting原评论 ↗
被提交为 story · 3 次