python实现xgboost回归

最新推荐文章于 2026-05-22 14:22:34 发布

原创

最新推荐文章于 2026-05-22 14:22:34 发布 · 6.3k 阅读

本文深入探讨XGBoost算法的底层原理，包括CART树分裂准则、预剪枝策略及特征重要度计算，并通过回归与分类实例演示算法实现。

1、本文实现的是一个简易版的xgboost回归例子，只是为了帮助理解xgboost底层原理，像一些抽样的参数比如subsample或者colsample_bytree等就没考虑了，同时也假定特征都是连续变量

2、与gbdt不同的是xgboost中的cart树分裂是依据信息增益最大的方向进行分裂，同时gain要大于0，gain的公式：

3、在分裂的时候还需要满足min_child_weight <= min(H_L,H_R)，如果不满足就不给分裂，起到预剪枝作用

4、回归：g_i = ypred_i - y_i,h_i = 1,分类：g_i = ypred_i - y_i,h_i = ypred_i * (1 - y_pred_i)

5、对于分裂得到的叶子节点利用节点的更新公式更新

6、计算特征重要度important_type = 'gain'

a、计算每个特征的总增益

b、根据每个特征的分裂次数计算平均增益，最后在归一化

代码

import numpy as np
from collections import Counter,defaultdict
import copy


n_estimators =10#树的棵数
MAX_DEPTH = 2
LR = 0.3
min_child_weight = 1 # 最小叶子节点占比权重
base_score = 0.5
GAMMA = 0.05


# 回归：G = ypred - y,H = 1
# 分类：G = ypred - y,H = ypred * (1 - ypred)

class XGBoostModel:
    def __init__(self,target,n_estimators,lr,max_depth,min_child_weight,reg_lambda,reg_alpha,base_score,gamma):
        '''
        :param target: reg if target is a regression else classify
        :param n_estimators: cart树的棵树
        :param lr: 学习率
        :param max_depth: 树的最大深度
        :param min_child_weight: 最小叶子节点占比权重
        :param reg_lambda: l2正则
        :param reg_alpha: l1正则 # 该代码还未实现
        :param gamma: gamma参数
        '''
        self.target = target
        self.n_estimators = n_estimators
        self.lr = lr
        self.max_depth = max_depth
        self.min_child_weight = min_child_weight
        self.reg_lambda = reg_lambda
        self.reg_alpha = reg_alpha
        self.tree_list = []
        self.gain_list = []
        if self.target.startswith('reg'):
            self.base_sc