XGBoost 和 LightGBM 对比

AdaBoost（Adaptive Boosting）是一种集成学习算法，通过组合多个弱分类器来构建一个强分类器。它是由Freund和Schapire在1996年提出的，是集成学习中最早被广泛应用的算法之一。如何改变训练数据的权重或概率分布提高前一轮被弱分类器错误分类的样本的权重，降低前一轮被分对的权重。如何将弱分类器组合成一个强分类器，亦即，每个分类器，前面的权重如何设置采取“多数表决”的方法。

1、历史成交样数据为训练数据2、构建决策树（核心原理）：决策树可以理解为一种“二叉树”的预测方法。模型会不断寻找“最优特征 + 最优阈值”来逐步切分样本（生长叶子），把原本混在一起的设备分成越来越相似的小群体，最后根据每个小群体的局部规律给出价格预测。以损失函数为核心目标，遍历所有特征及其边界值，计算各切分点的损失收益（RSS），选取收益最大的切分点作为最优划分依据，逐层构建决策树。树的生长过程受三重约束：一是算法初始设定的叶子节点数量上限；二是叶子节点的最小样本量要求，避免过拟合；

在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。然后我们拿残差替代A,B,C,D的原值，到第二棵树去学习，如果我们的预测值和它们的残差相等，则只需把第二棵树的结论累加到第一棵树上就能得到真实年龄了。从树深度0开始，每一节点都遍历所有的特征，比如年龄、性别等等，然后对于某个特征，先按照该特征里的值进行排序，然后线性扫描该特征进而确定最好的分割点，最后对所有特征进行分割后，我们选择所谓的增益Gain最高的那个特征。

1. LightGBM简介 GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。而LightGBM（Light Gradient Boosting Machine）是一个实现GBDT

1 LightGBM原理 1.1 GBDT和 LightGBM对比 ​ GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT 在工业界应用广泛，通常被用于点击率预测，搜索排序等任务。GBDT 也是各种数据挖掘竞赛的致命武器...

最近在使用Xgboost与Lightgbm模型来训练数据，众所周知，lightgbm是2016年末微软开源的工具，具体相关信息可以参考一下链接： Lightgbm: https://github.com/Microsoft/LightGBM Xgboost:https://github.com/dmlc/xgboost 两大神器的优缺点，咱们就不讨论了，微软官方给了一些example对比

XGBoost 参数介绍 XGBoost的参数一共分为三类（完整参数请戳官方文档）： 通用参数：宏观函数控制。 Booster参数：控制每一步的booster(tree/regression)。booster参数一般可以调控模型的效果和计算代价。我们所说的调参，很这是大程度上都是在调整booster参数。 学习目标参数：控制训练目标的表现。我们对于问题的划分主要体现在学习目标参数上。比如我...

结论：比赛选LightGBM，工业选Catboost

文章目录AdaBoostGBDTRandom ForestXGboostLightGBM对比分析 AdaBoost 简单介绍 AdaBoost是基于boosting的思想，通过多个弱分类器的线性组合来得到强分类器，训练时重点关注被错分的样本，准确率高的弱分类器权重大。 更深一步的介绍 在训练过程中，它不改变所给的训练数据，而是不断改变训练数据权值的分布，使得被误分类的数据再后一轮的分类中受到更大的...

在寻找最佳特征值来分割树节点时，LightGBM使用特征值直方图，并尝试所有直方图bin值，而不是尝试所有可能的特征值，因此可以减少寻找最佳特征吐出值的时间和计算量。例如，给定下面的年龄特征，将直方图离散特征值放入不同的范围箱中，因此我们可以使用像Age⩽30，Age⩽40，，，，Age⩽100这样的吐槽标准，而不是尝试像Age这样的所有可能的年龄值⩽31、年龄⩽32 等。一般来说，GOSS的主要思想是，在训练下一个集成树之前，我们保留梯度较大的训练实例，并丢弃一些梯度较小的训练实例。

1. LightGBM概述 LightGBM（Light Gradient Boosting Machine）是一个基于决策树算法的快速的、分布式的、高性能 gradient boosting（GBDT、GBRT、GBM 或 MART）框架，可被用于排行、分类以及其他许多机器学习任务中。 2. LightGBM的起源 GBDT 虽然是个强力的模型，但却有着一个致命的缺陷，不能用类似 mini ba...

LigthGBM是boosting集合模型中的新进成员，由微软提供，它和XGBoost一样是对GBDT的高效实现，原理上它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。 LightGBM在很多方面会比XGBoost表现的更为优秀。它有以下优势： 更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可处理大规模数据 支持直接使用catego...

1.CART树 1.1原理 所谓CART，也就是Classification And Regression Tree是决策树的一种，并且是非常重要的决策树。CART算法既可以用于创建分类树，也可以用于创建回归树。两者在建树的过程稍有差异。 创建分类树的递归过程中：CART每次都选择当前数据集中具有最小Gini信息增益的特征作为结点划分决策树。ID3算法和C4.5算法虽然在对训练样本集的学习中可以尽...

LightGBM 是 微软的 一个团队 在 Github 上开发的一个 开源项目，高性能 的 LightGBM 算法具有分布式 和 可以 快速处理大量数据的 特点。LightGBM 虽然 基于 决策树和 XGBoost 而生，但它 还遵循 其他不同的 策略。XGBoost 使用决策树 对一个 变量进行 拆分，并在 该变量上 探索不同的 切割点（按级别划分的 树生长策略），而LightGBM 则 专注于 按叶子节点 进行拆分，以便 获得更好的 拟合（按叶划分的树生长策略）。

梯度提升树（Gradient Boosting Decision Tree, GBDT）是一种基于加法模型和前向分步算法的提升方法。GBDT 通过迭代地构建决策树来优化目标函数，其中每一棵树都拟合上一个模型的残差或负梯度。GBDT 在分类问题中通常使用交叉熵作为目标函数，而在回归问题中使用平方误差损失。LightGBM 通过多项优化使得 GBDT 在性能和效率上有了大幅提升。其基于叶节点的生长策略和直方图算法的创新设计，显著提高了模型的训练速度和精度。

LightGBM 在现实生活中被广泛运用于各种场景，甚至竞赛，因此深入了解 LightGBM 模型是非常有必要的。文章中的各种特殊方法，有兴趣就最好可以深入了解。最后，文章如有错误，欢迎大噶指正！

文章目录XGBoost不足之处直方图算法单边梯度抽样算法(GOSS)互斥特征捆绑算法(EFB)带深度限制的 Leaf-wise 算法LightGBM的工程优化直接支持类别特征特征并行数据并行投票并行Cache命中率优化LightGBM的优缺点 LightGBM是轻量级（Light）的梯度提升机器（GBM）,是GBDT模型的另一个进化版本。它延续了XGBoost 的那一套集成学习的方式，相对于xgboost， 具有训练速度快和内存占用率低的特点。 XGBoost不足之处 XGBoost的核心思想： xgbo

LightGB学习笔记1. lightgbm概述1.1 lightgbm介绍1.2 lightgbm和xgboost对比2 .直方图算法及改进2.1 直方图算法2.2 直方图算法改进2.2.1 GOSS算法3.树的生长策略4.系统设计5. 实战 lightgbm是基于boosting的学习框架，使用的是基于决策树的学习算法，具有更快的训练速度、更低的内存使用、更高的正确率、并且能够支持并行化学习，可以用来处理大规模数据，本文主要是针对学习视频https://www.bilibili.com/video/BV

决策树 AdaBoost GBDT 问：为什么GBDT要拟合负梯度 Xgboost 问：Xgboost的损失函数是什么？ GBDT用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树。 首先，在GBDT损失函数的基础上，Xgboost加入了正则化项，即对叶子数与叶节点权重的惩罚，即系数为gamma的叶子结点个数和系数为二分之lambda的L2正则项。 如果我们要极小化这个损失函数的话，需要求解J个叶子结点区域的最优解w，Xgboost的GBDT的一阶泰勒展开的基础上做二阶泰勒展开，经