引用wenc · 2023-10
“This paper mentions why and how DL could might better (if it indeed can, with limited sized data).”
引它说明树模型为何仍胜过深度学习,以及深度学习如何可能做得更好
大规模基准显示中等规模表格数据上树模型仍优于神经网络
作者在 45 个表格数据集上、跨大量超参数组合,系统比较了深度学习方法与 XGBoost、Random Forest 等树模型,发现在约 1 万样本的中等规模数据上,树模型仍是最优,即使不计其速度优势。随后分析两类模型归纳偏置的差异,总结出表格专用神经网络需要应对的三点:对无信息特征鲁棒、保留数据的方向、容易学习不规则函数。论文同时公开了基准与超参数搜索的原始结果。
评论者用它解释为何树模型在表格数据上仍难被深度学习取代,以及深度学习在小数据下可能怎样改进。
“This paper mentions why and how DL could might better (if it indeed can, with limited sized data).”