【菜菜sklearn机器学习】1.决策树

原创于 2025-07-29 08:38:20 发布 · 1.2k 阅读

本内容遵循CC 4.0 BY-SA版权协议

1. 概述

1.1 决策树是如何工作的

决策树是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据总结出决策规律，并用树状图的结构来呈现这些规则，以解决分类和回归的问题。其中非参数的含义为：“非参数”意味着模型不会对数据的分布做出预先的、固定的假设，模型的复杂度和结构可以根据训练数据的数量和复杂性而自由增长

在这里插入图片描述

决策树算法容易理解，适用各种数据，在解决各种问题时都有良好表现，尤其是以树模型为核心的各种集成算法，在各个行业和领域都有广泛应用。

我们来简单了解一下决策树是如何工作的，决策树算法本质是一种数据结构，我们只需要问一系列问题就可以对数据进行分类了，比如说，来看看下面这组数据集，这是一系列已知物种以及所属类别的数据
在这里插入图片描述

我们现在的目标是，将动物门分为哺乳类和非哺乳类，那根据已经收集到的数据，决策树算法为我们算出了下面这颗决策树：
在这里插入图片描述

假如我们现在发现了一种新物种 python，它是冷血动物，体表带鳞片，而且不是胎生，我们就可以通过这颗决策树来判断它所属的类别

可以看出这个决策过程中，我们已知对记录的特征进行提问。最初问题所在的地方叫根节点，得到结论前的每个问题都是中间结点，而得到的每一个结论（动物的类别）都叫做叶子结点
在这里插入图片描述
决策树算法的核心是要解决两个问题：

如何从数据表中找出最佳结点和最佳分支？
如何让决策树停止生长，防止过拟合？

几乎所有决策树有关的模型调整方法，都为找这两个问题展开，这两个问题背后的原理非常复杂，本课程更专注于实现而轻原理

1.2 sklearn的决策树

模拟sklearn.tree
sklearn的基本建模流程
在那之前，我们先来了解一下 sklearn 的建模流程（所有模型通用）：

2. DecisionTreeClassifier与红酒数据集

本节课只讲 8 个参数
在这里插入图片描述

2.1 重要参数

2.1.1 criterion

为了要将表格转化为一棵树，决策树需要找出租价结点和最佳的分支方法，对分类树来说，衡量这个，叫做“不纯度”。通常来说，不纯度越低，决策树对训练集的拟合越好。现在使用的决策树算法在分支方法，大多是围绕在对某个不纯度相关指标的最优化上

不纯度基于结点来计算，树种的每个结点都会有一个不纯度，并且子节点的不纯度一定是低于父节点的。也就是说，在同一棵决策树上，叶子结点的不纯度一定是最低的

Criiterion这个参数正式用来决定不纯度的计算方法的，sklearn 提供了两种选择：
在这里插入图片描述
其中 $t$ 代表给定的结点， $i$ 代表任意标签的分类， $p (i ∣ t)$ 代表标签分类 $i$ 在结点 $t$ 上所占的比例。注意，当使用信息熵时，sklearn实际计算的时基于信息熵的信息增益，即父节点信息熵与子节点信息熵之差

比起基尼系数，信息熵对不纯度更加敏感，对不纯度的惩罚最强。但是在实际使用种，信息熵和基尼系数的效果基本相同。信息熵的计算比基尼系数缓慢一些，因为基尼系数不涉及对数。另外，因为信息熵对不纯度更加敏感，所以信息熵作为指标时，决策树的生长更加“精细”，因此对于高维数据或者噪音很多的数据，信息熵很容易过拟合，基尼系数在这种情况下效果往往比较好，当然这不是绝对的
在这里插入图片描述

建立一棵树

我们已经在只了解一个参数的情况下，建立了一棵完整的决策树，但是回到步骤 4 建立模型，score会有所波动，引起步骤 5 中画出来的每一棵树都不一样，它为什么会不稳定呢？如果使用其他数据集，它还会不稳定吗？

我们之前提到过，无论决策树模型如何进化，在分支上本质还是追求某个不纯度指标的优化，而正如我们提到的，不纯度是基于结点来计算的，也就是说，决策树在建树时，是靠优化结点来追求一棵优化的树，但最优的结点能够保证最优吗？集成算法被用来解决这个问题：sklearn表示，既然一棵树不能保证最优，那就建更多不同的树，然后从中选最好的，怎样从一组数据集中建不同的树？每次分支时，不从使用全部特征，而是随机选取一部分特征，从中选取不纯度相关指标最优的作为分支用的结点，这样，每次生成的树就不同了

使用random state控制结果不变
在这里插入图片描述

2.1.2 random_state & splitter

random_state用来设置分支中随机模式的参数，默认None，在高维度时随机性表现会更明显，低纬度数据（比如鸢尾花数据集），随机性几乎不会显现。输入任意整数，会一直长出来同一棵树，让模型稳定下来

splittrer也是用来控制决策树中的随机选项的，有两种输入值，输入“best"，决策树在分支时虽然随机，但是还是会优先选择更重要的特征进行分支（重要性可以通过feature_importances_查看），输入"random"，决策树在分支时会更加随机，树会更深，对训练集的拟合将会降低，这也是防止过拟合的一种方式，当你预测你的模型会过拟合，用这两个参数来帮助你降低过拟合的可能性

测试：可以发现用random能够大幅涨点，而且树的高度变高了
在这里插入图片描述

2.1.3 剪枝参数

在不加限制的情况下，一棵决策树会生长到衡量不纯度的指标最优，或者没有更多特征可用为止。这样的决策树往往会过拟合，这就是说，它在训练集上表现很好，测试集上表现却很糟糕。我们收集样本的数据不可能和整体的状况完全一致，因此当一棵决策树对训练数据有了过于优秀的解释性，它找出的规则必然包含了训练样本中的噪声（把噪声学进去了），并使它对位置数据的拟合程度不足

可以看到下面的结果有点轻微的过拟合了吗，在训练集上的表现为 1
在这里插入图片描述

为了让决策树有更好的泛化性，我们要对决策树进行剪枝，剪枝策略对决策树的影响巨大，正确的剪枝策略时优化决策树算法的核心，sklearn为我们提供了不同的剪枝策略：

max_depth

限制树的最大深度，超过设定深度的树全部剪掉

这是用的最广泛的剪枝参数，在高维度低样本量时分厂有效，让决策树多生长了一层，对样本量的需求会增加一倍，所以限制树的深度能有效地限制过拟合。在集成算法中也非常实用。实际使用时建议从=3开始尝试，看看拟合的效果如何

测试：效果没咋变化，但是树的高度小了，减少了冗余的计算
在这里插入图片描述

min_samples_leaf & min_sample_split

min_samples_leaf 限定，一个节点在分支后的每个子节点都必须包含 min_samples_leaf 个训练样本，否则分支不会发生，或者，分支会朝着满足每个子节点必须包含 min_samples_leaf 个样本的方向去发生

一般搭配 max_depth 使用，在回归树中有神奇的效果，可以让模型更加平滑。这个而参数的数量设置的太小会引起过拟合，设置的太大就会阻止模型学习数据。一般来说，建议从=5开始使用。如果叶节点含有的样本量变化很大，建议输入浮点数作为样本量的百分比来使用。同时这个参数可以保证每个叶子的最小尺寸，可以在回归问题中避免低方查，过拟合的叶子节点出现。对于类别不多的分类为题，=1通常就是最佳选择

测试min_sample_leaf：可以看到叶子中小于10的节点都消失了，但是效果不变，表明我们的剪枝是有效，老师的视频里面是会掉点的
在这里插入图片描述

min_samples_split限定，一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分支，否则分支就不会发生

测试min_samples_split：可以看到中间节点小于10的都被剪掉了，这次掉大点

在这里插入图片描述

max_features & min_impurity_decrease

一般配合max_depth使用，用作树的”精修“

max_features限制分支时考虑特征的个数，超过个数的特征都会被舍弃，和 max_depth 异曲同工，max_features 是用来限制高维度数据的过拟合的剪枝参数，但其方法比较暴力，是直接限制可以使用的特征数量而强行使决策树停下的参数，在不知道决策树中的各个特征的重要性的情况下，强行设定这个参数可能会导致模型学习不足，如果希望通过将为的方式防止过拟合，建议使用 PCA，ICA 或者特征选择模块中的降维算法

min_impurity_decrease 限制信息增益的大小，信息增益小于设定数值的分支不会发生（对决策树的贡献已经比较小了），这是在 0.19 版本中更新的功能，0.19 版本前使用 min_impurity_split

确认最优的剪枝参数

那具体怎么确定每个参数填什么值呢？这时候我们就要使用超参数的曲线来判断了，超参数的学习曲线，是一条以超参数的取值为横坐标，模型的度量为纵坐标的曲线，它是用来衡量不同超参数值下模型的表现的线，在我们建好的决策树里面，我们的度量指标就是score

下面是测试随着 max_depth 变化下得分的变化：
在这里插入图片描述
思考：

剪枝参数一定能够提升在测试集数据上的表现吗？- 调参没有绝对答案，一切都是看数据本身
这么多参数，一个个画学习曲线？- 在泰坦尼克号的案例中，我们会解答这个问题

无论如何，剪枝参数的默认值会让树无尽的生长，这些树在某机械数据据上可能非常巨大，对内存的消耗也非常巨大，如果手中的数据集非常巨大，你已经预测到无论如何你都要进行剪枝，那体现设定这些参数的复杂性和大小会比较好

2.1.4 目标权重参数

class_weight & min_weight_fraction_leaf

完成样本标签平衡的参数，样本不平衡是指在一组数据集中，标签的一类天生占据很大比例。比如说，在银行要判断”一个办了信用卡的人是否会违约“，就是是vs否（1%：99%）的比例。这种分类状况下，即便模型什么也不做，把结果全部预测成”否“，正确率也有 99%（对会违约的情况拟合度很差）。因此我们要用 class_weight 参数对样本标签做一定的均衡，给少量标签更多的权重，让模型偏向更少数类，向捕获少数类的方向建模，该参数默认为None，此模式表示自动给与式布局及中的所有标签相同的权重

有了权重之后，样本量就不再是单纯的记录数目了，而是受输入的权重影响了，因此这个时候剪枝，就要搭配 min_weight_fraction_leaf 这个基于权重的剪枝参数来使用。另请注意，基于权重的剪枝参数（例如 min_weight_fraction_leaf）将比不知道样本权重的标准（比如 min_samples_leaf）更少偏向主导类。如果样本是加权的，即使用基于预修建标准来更容易优化树结构，这确保叶节点至少包含样本权重的总和一小部分

2.2 重要属性与接口

属性是在模型训练之后，能够调用查看的模型的各种性质。对决策树来说，最重要的是 feature_importances_，能够查看各个特征对模型的重要性

sklearn中序多算法的接口都是类似的，比如说我们之前已经用到的 fit 和 score，几乎对每个算法都可以适用。除了这两节接口之外，决策树最常用的接口还有 apply 和 predict。apply 中输入测试集返回每个测试样本所在叶子节点的索引，predict 输入测试集返回每个测试样本的标签。返回的内容一目了然并且非常容易

这里不得不提的是，所有接口中要求输入 X_train 和 X_test 的部分，输入特征矩阵必须至少是一个二维矩阵。sklearn 不接受任何一维矩阵作为特征矩阵被输入。如果你的数据的确只有一个特征，那就必须用 reshape(-1,1) 来给矩阵增维。如果你的数据只有一个特征和一个样本，使用 reshape(1,-1) 来给你的矩阵增维

示例：
在这里插入图片描述