按年被提到
20212021 · 2 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:2106.03253 · cs.LG

Tabular Data: Deep Learning is Not All You Need

表格数据:深度学习并非万能
Ravid Shwartz-Ziv, Amitai Armon · 2021

严格对比表明在表格数据上 XGBoost 胜过多种深度模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2021-06-10 · 最近 2024-07-26
5不同的人
3活跃月份
5讨论串
2,298被引(OpenAlex)

论文检验近年提出的表格数据深度模型是否值得推荐。作者在多个数据集上把它们与 XGBoost 严格比较,并同时考察调参和计算需求。结果显示 XGBoost 在所有数据集上都优于这些深度模型,包括提出这些模型的论文所用的数据集,而且需要的调参少得多;积极的一面是,深度模型与 XGBoost 的集成比单用 XGBoost 表现更好。

HN 为什么提它

HN 评论者把它当作「表格数据上树模型仍优于神经网络」这一共识的证据来引用,也用来说明大模型在数据领域的局限。

实证研究难度 2 / 5约 30 分钟经得起时间
读之前最好知道
1梯度提升树(XGBoost)
2表格数据建模与特征工程
3超参数调优
4深度学习基础

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先弄清作为对照基线的 XGBoost,再了解一类为深度模型设计的归一化技术,最后读本文对表格数据上深度模型与树模型的比较。

  1. 1

    本文的核心对照基线,所有深度模型都与它比较。

    读梯度提升树的目标函数与树构建方式,以及它为何训练快、调参少。

  2. 2

    是被引用的前馈网络方法之一,了解深度模型在表格类数据上用何种思路稳定训练。

    读SELU 激活与自归一化的基本思想;不必深究附录里的数学证明。

  3. 3
    Tabular Data: Deep Learning is Not All You Need表格数据:深度学习并非万能 · 2021 · 就是这篇

    目标论文:严格比较多种深度表格模型与 XGBoost。

    读实验设置的公平性(统一数据集与超参搜索)、结论,以及对集成模型的讨论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用audi0slave · 2021-06

“This paper compares xgboost vs nueural nets and an ensemble”

指出论文比较了 xgboost、神经网络和集成方法
Regularization is all you need: simple neural nets can excel on tabular data原评论 ↗
引用bluecoconut · 2022-09

“My challenge is that large language models and AI systems in general are about to hit a wall in the data domain because they fundamentally don't understand data [1] [2],”

引用它支持观点:LLM 和 AI 系统本质上不懂数据,会撞墙
Act-1: Transformer for Actions原评论 ↗
引用gnyeki · 2024-07

“the consensus still seems to be that they perform better than neural networks on tabular data”

指出共识仍是树模型在表格数据上优于神经网络
My Python code is a neural network原评论 ↗
引用antipaul · 2024-07

“which is increasingly even shown (proven?) in literature”

称文献中越来越多地显示树模型优于深度网络
Applied Machine Learning for Tabular Data原评论 ↗
被提交为 story · 1 次