XGBoost算法详解

1、XGBoost

XGBoost（eXtreme Gradient Boosting），极端梯度提升。它用二阶泰勒展开式去近似损失函数，然后通过让损失函数最小化，来求出最优的树结构以及叶子节点的值。

核心算法思想：不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数f(x)，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数。最后只需要将每棵树对应的分数加起来就是该样本的预测值。

回归树

4.1 XGBoost目标函数的构建

假设已经训练了K棵树，则对于第i个样本的（最终）预测值为：

 最终的结果相当于所有K棵树预测之和。

目标函数：

 目标函数由损失函数和控制模型的复杂度项两个部分构成。

（1）损失函数

回归问题，使用最小二乘作为损失函数；