“This paper compares xgboost vs nueural nets and an ensemble”
Tabular Data: Deep Learning is Not All You Need
严格对比表明在表格数据上 XGBoost 胜过多种深度模型
论文检验近年提出的表格数据深度模型是否值得推荐。作者在多个数据集上把它们与 XGBoost 严格比较,并同时考察调参和计算需求。结果显示 XGBoost 在所有数据集上都优于这些深度模型,包括提出这些模型的论文所用的数据集,而且需要的调参少得多;积极的一面是,深度模型与 XGBoost 的集成比单用 XGBoost 表现更好。
HN 评论者把它当作「表格数据上树模型仍优于神经网络」这一共识的证据来引用,也用来说明大模型在数据领域的局限。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先弄清作为对照基线的 XGBoost,再了解一类为深度模型设计的归一化技术,最后读本文对表格数据上深度模型与树模型的比较。
- 1
- 2
是被引用的前馈网络方法之一,了解深度模型在表格类数据上用何种思路稳定训练。
读SELU 激活与自归一化的基本思想;不必深究附录里的数学证明。
- 3Tabular Data: Deep Learning is Not All You Need
目标论文:严格比较多种深度表格模型与 XGBoost。
读实验设置的公平性(统一数据集与超参搜索)、结论,以及对集成模型的讨论。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“My challenge is that large language models and AI systems in general are about to hit a wall in the data domain because they fundamentally don't understand data [1] [2],”
“the consensus still seems to be that they perform better than neural networks on tabular data”
“which is increasingly even shown (proven?) in literature”
- Tabular Data: Deep Learning Is Not All You Need [pdf] ↗amrrs · 2021-06-10 · 2 分