为什么GBDT需要使用损失函数的负梯度去拟合一个新的回归树？

今天在B站看了GDBT的入门；GBDT模型是一个集成模型，是很多CART树的线性相加。 GBDT模型可以表示为以下形式，我们约定f­­­t­(x)表示第t轮的模型，ht(x)表示第t颗决策树，模型定义如下： 提升树采用前向分步算法。第t步的模型由第t-1步的模型形成，可以写成： 损失函数自然定义为这样的： 对于一般的回归树，采用平方误差损失函数，这时根据前向分布每次只需要达到最优化，就能保证整体上的优化。由于平方误差的特殊性，可以推导出每次只需要拟合残差（真实值-预测值）。而对于其他损失函数， Fre

以GBDT求解回归任务为例子，每次迭代，修改y值为损失函数（目标函数）的负梯度（或者叫残差，因为和残差的表达式一样，这是个巧合），问题是为什么要把y值修改为负梯度（残差），也就是为什么拟合负梯度（残差）

简单来讲就一句话，为了可以扩展到更复杂的损失函数中。 这时候你可能就有疑问了，难道不是所有的损失函数都在 时最小吗？ 那可能你忘了正则项这一回事，如果只是经验风险最小化的话非常容易过拟合，所以一个合理的办法就是在每个基模型中加入正则项，所以在有正则项的情况下就不再是 时损失函数最小了，所以我们需要计算损失函数的梯度，而不能直接使用分模型来拟合残差。 下面是我对上面的理解：有正则化项的时候...

前向分布算法 负梯度拟合 在上一节中，我们介绍了GBDT的基本思路，但是没有解决损失函数拟合方法的问题。针对这个问题，大牛Freidman提出了用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树。第t轮的第i个样本的损失函数的负梯度表示为 　　　　利用(xi,rti)(i=1...

一. 前言 在AdaBoost基本原理与算法描述中，我们介绍了AdaBoost的基本原理，本篇博客将介绍boosting系列算法中的另一个代表算法GBDT（Gradient Boosting Decision Tree，梯度提升树）算法。这里对GBDT的学习做一个总结，也希望对有帮助的同学能有一个帮助。 在介绍AdaBoost的时候我们讲到了，AdaBoost算法是模型为加法模型，损失函数为指...

一.从Boosting思想开始 1.梯度提升回归树是一种从它的错误中进行学习的技术。它本质上就是集思广益，集成一堆较差的学习算法进行学习。 2.GBDT是基于Boosting思想的，Adaboosting是最著名的Boosting算法，其基本思想是使用多个弱分类器来构建一个强分类器。 3.Adaboosting构造方法是一个迭代的过程，大致思路是：                 *针对同一...

机器学习——梯度提升决策树（GBDT）

基本思想 GBDT的基本结构是决策树组成的森林，学习方式是梯度提升。 具体的讲，GBDT作为集成模型，预测的方式是把所有子树的结果加起来。GBDT通过逐一生成决策子树的方式生成整个森林，生成新子树的过程是利用样本标签值与当前树林预测值之间的残差，构建新的子树。 例如，当前已经生成了3课子树了，则当前的预测值为D(x)=d1(x)+d2()x+d3(x)，此时我们得到的当前的预测值为D(x)效果并不好，与真正的拟合函数f(x)还有一定的差距。GBDT希望的是构建第四棵子树，使当前树林的预测结果D(x)与第四棵

梯度提升树-为什么拟合负梯度 将学习器F看做一个参数，损失函数为 L(y,F)L(y,F)L(y,F)，为使L损失最小，采用梯度下降法： Fm=Fm−1−dLdF F_m=F_{m-1}-\frac{dL}{dF} Fm​=Fm−1​−dFdL​ 提升树采用加法模型（基函数的线性组合）与前向分布算法： Fm=Fm−1+T F_m=F_{m-1}+T Fm​=Fm−1​+T T为训练的新树，所以有：...

这三种情况如图所示，我们可以看到当两个向量夹角越大的时候，二者的点积越小(为负)，此时的第三种情况就是θ-θ0的方向与∇f(θ0)完全反向，我们可以知道∇f(θ0)是梯度的方向，那么θ-θ0就是负梯度的方向，也就是说当θ-θ0是负梯度方向的时候f(θ)-f(θ0)最小。f(θ)越小，因为f(θ0)为定值，那么f(θ)-f(θ0)就越小（为负数），也就是≈右边的越小越好，那儿么右边的是向量的点积，什么时候向量的点积最小呢？方向有了步长有了，按照这个方向走出指定步长，这就是梯度下降算法的直观理解。

预测误差敏感性（Sensitivity to Prediction Errors）：损失函数应该对预测误差敏感，即当预测结果与真实值之间的差异较大时，损失函数的值应该相应增加。损失函数（Loss Function）是在机器学习和优化问题中使用的一个函数，用于衡量模型预测结果与真实值之间的差异或误差。损失函数的选择是根据具体问题和任务的特点而定，不同的问题可能需要不同的损失函数。学习率决定了每次参数更新的步长，过大的学习率可能导致参数在损失函数的最小值附近来回震荡，过小的学习率则可能导致收敛速度过慢。

以下内容整理于高数课本以及李宏毅老师的视频： 我们想要利用梯度下降来求得损失函数的最小值。也就是每次我们更新参数，当前的损失函数总比上一次要小。 假设只有两个参数θ1和θ2，上图是损失函数的等值线，红色点是初始值当前的状态。以红色点为圆心画圆，在这个圆的范围内，我们想要找到一个损失函数更小的值。如下图： 这样我们就更新了一次参数，损失函数值变小了。再进行相同的操作，以当前点为圆心...

《为什么梯度的负方向是损失函数下降最快的方向》   之前从来没有考虑过这个问题如何证明，因为函数某点处的梯度作为一个向量它自身就是指向着某点处变化最大的方向的，所以梯度的负方向肯定是下降最快的方向，但是怎么从理论上给予给力的证明呢，这篇博客来讨论下这个问题。 Key Words： ECCV, 2016 作者： Code： Agile Pioneer   参考 https:/...

GBDT 全称为 Gradient Boosting Decision Tree。 顾名思义,它是一种基于决策树(decision tree)实现的分类回归算法。 不难发现,GBDT 有两部分组成: gradient boosting, decision tree。 Boosting 作为一种模型组合方式,与gradient descent 有很深的渊源,它们之间究竟有什么关系?

先验知识：   提升树的优化目标：  ,其中yi为真实label，为第m-1个模型，为残差。                                                                                                                                   ——公式来自 李航《统计学习方法》P148...

写这篇博客是因为博主花了一天时间在网上找GBDT的原理解析，但发现所有介绍GBDT的文章都没有说清楚，尤其没有让博主明白为什么GBDT的每一步学习是基于之前的错误学习的，是在拟合残差。于是博主只好又花半天时间读了Friedman的原文的前半部分（后半部分开始介绍正则化、变量重要性定义和模拟实验了，没细看），感觉终于懂了80%-90%。博主觉得一定要把这个理解记下来，以便以后复习。 本博客主要参考...

GBDT采用加法模型（即基函数的线性组合）和前向分步算法（每步只求解一个弱学习器）。 第m步的模型是： 通过经验风险极小化确定下一棵树的参数Θm： 对于GBDT中每棵树拟合的是什么，有两种解释，第一种是残差，第二种是负梯度。其实残差是负梯度在损失函数为平方损失时的特殊情况。 1、残差 前m-1棵树得到的模型是，即对x的预测值为，真实值为y，那么残差就是真实值与预测值的差值，即： ...

采用Square loss为损失函数时，负梯度和残差相等。不过，当我们采用Absolute loss/Huber loss等其它损失函数时，负梯度只是残差的近似。转自 http://aandds.com/blog/ensemble-gbdt.html...