【论文阅读】TabNet

论文信息：Google，2020，AAAI

论文地址：https://arxiv.org/abs/1908.07442

相关代码：https://github.com/dreamquark-ai/tabnet (pytorch版本)

1. 简介

XGBoost和LightGBM这类提升（Boosting）树模型在表格数据任务中有良好的表现，其具有以下优点：

• 模型的decision manifolds可看成超平面边界的
• 可解释性较好
• 训练速度快

传统的DNN一味堆叠网络层易导致模型过参数化，在表格数据上表现不尽人意。而且缺乏归纳偏差 (Inductive Bias)，即缺乏学习符合某个规则模型的假设，使得DNN难以在表格决策流形上找到最优解。但如果能够设计这样一种DNN，它既吸收树模型的长处，又继承DNN的优点，那这样的模型无疑是针对于表格数据的一大利器。