C4.5决策树示例

C4.5决策树案例分析

本次案例分析是对C4.5决策树有所了解后，实现的手动推理

一. 数据

二. 分析

存在四种影响特征，且均为离散型变量（连续型变量需要离散化），最终的标签只有两类（是/否）

注意：以下计算过程中，结果保留三位小数，采用四舍五入

三. 总体信息熵

样本12个，是 = 8，否 = 4

$$\begin{array}{rl}H(X)& =-\frac{8}{12}\times {\log }_2\frac{8}{12}-\frac{4}{12}\times {\log }_2\frac{4}{12}\\ & \approx 0.918\end{array}$$

四. 分析变量

4.1 分析第一个自变量：性别

4.1.1 计算性别为男的信息熵

样本9个，是 = 6，否 = 3

$$\begin{array}{rl}H(X,性别=男)& =-\frac{6}{9}\times {\log }_2\frac{6}{9}-\frac{3}{9}\times {\log }_2\frac{3}{9}\\ & \approx 0.918\end{array}$$

4.1.2 计算性别为女的信息熵

样本3个，是 = 2，否 = 1

$$\begin{array}{rl}H(X,性别=女)& =-\frac{2}{3}\times {\log }_2\frac{2}{3}-\frac{1}{3}\times {\log }_2\frac{1}{3}\\ & \approx 0.918\end{array}$$

4.1.3 计算性别的条件熵
$$\begin{array}{rl}H(X,性别)& =\frac{9}{12}\times 0.918+\frac{3}{12}\times 0.918\\ & =0.918\end{array}$$
4.1.4 计算性别的信息增益
$$\begin{array}{rl}Gain(X,性别)& =H(X)-H(X,性别)\\ & =0.918-0.918\\ & =0\end{array}$$
4.1.5 计算性别的固有属性IV
$$\begin{gathered} \begin{array}{r}IV=-\sum _{v=1}^V\frac{ \\ |D^v \\ |}{ \\ |D \\ |}\times {\log }_2\frac{ \\ |D^v \\ |}{ \\ |D \\ |}\end{array} \end{gathered}$$

$$\begin{array}{rl}IV(X,性别)& =-\frac{9}{12}\times {\log }_2\frac{9}{12}-\frac{3}{12}\times {\log }_2\frac{3}{12}\\ & \approx 0.811\end{array}$$

4.1.6 计算性别的增益率
$$\begin{array}{r}Gain\_ratio=\frac{Gain}{IV}\end{array}$$

$$\begin{array}{rl}Gain\_ratio(X,性别)& =\frac{0}{0.811}\\ & =0\end{array}$$

4.2 分析第二个自变量：学历

4.2.1 计算学历为大专的信息熵

样本2个，是 = 0，否 = 2

$$\begin{array}{rl}H(X,学历=大专)& =-\frac{0}{2}\times {\log }_2\frac{0}{2}-\frac{2}{2}\times {\log }_2\frac{2}{2}\\ & =0\end{array}$$

4.2.2 计算学历为本科的信息熵

样本7个，是 = 5，否 = 2

$$\begin{array}{rl}H(X,学历=本科)& =-\frac{5}{7}\times {\log }_2\frac{5}{7}-\frac{2}{7}\times {\log }_2\frac{2}{7}\\ & \approx 0.863\end{array}$$

4.2.3 计算学历为研究生的信息熵

样本3个，是 = 3，否 = 0

$$\begin{array}{rl}H(X,学历=研究生)& =-\frac{3}{3}\times {\log }_2\frac{3}{3}-\frac{0}{3}\times {\log }_2\frac{0}{3}\\ & =0\end{array}$$

4.2.4 计算学历的条件熵
$$\begin{array}{rl}H(X,学历)& =\frac{2}{12}\times 0+\frac{7}{12}\times 0.863+\frac{3}{12}\times 0\\ & \approx 0.503\end{array}$$
4.2.5 计算学历的信息增益
$$\begin{array}{rl}Gain(X,学历)& =H(X)-H(X,学历)\\ & =0.918-0.503\\ & =0.415\end{array}$$
4.2.6 计算学历的固有属性IV
$$\begin{array}{rl}IV(X,学历)& =-\frac{2}{12}\times {\log }_2\frac{2}{12}-\frac{7}{12}\times {\log }_2\frac{7}{12}-\frac{3}{12}\times {\log }_2\frac{3}{12}\\ & \approx 1.384\end{array}$$
4.2.7 计算学历的增益率
$$\begin{array}{rl}Gain\_ratio(X,学历)& =\frac{0.415}{1.384}\\ & \approx 0.300\end{array}$$

4.3 分析第三个自变量：学校

4.3.1 计算学校为普通学校的信息熵

样本6个，是 = 2，否 = 4

$$\begin{array}{rl}H(X,学校=普通)& =-\frac{2}{6}\times {\log }_2\frac{2}{6}-\frac{4}{6}\times {\log }_2\frac{4}{6}\\ & \approx 0.918\end{array}$$

4.3.2 计算学校为211的信息熵

样本4个，是 = 4，否 = 0

$$\begin{array}{rl}H(X,学校=211)& =-\frac{4}{4}\times {\log }_2\frac{4}{4}-\frac{0}{4}\times {\log }_2\frac{0}{4}\\ & =0\end{array}$$

4.3.3 计算学校为985的信息熵

样本2个，是 = 2，否 = 0

$$\begin{array}{rl}H(X,学校=985)& =-\frac{2}{2}\times {\log }_2\frac{2}{2}-\frac{0}{2}\times {\log }_2\frac{0}{2}\\ & =0\end{array}$$

4.3.4 计算学校的条件熵
$$\begin{array}{rl}H(X,学校)& =\frac{6}{12}\times 0.918+\frac{4}{12}\times 0+\frac{2}{12}\times 0\\ & =0.459\end{array}$$
4.3.5 计算学校的信息增益
$$\begin{array}{rl}Gain(X,学校)& =H(X)-H(X,学校)\\ & =0.918-0.459\\ & =0.459\end{array}$$
4.3.6 计算学校的固有属性IV
$$\begin{array}{rl}IV(X,学校)& =-\frac{6}{12}\times {\log }_2\frac{6}{12}-\frac{4}{12}\times {\log }_2\frac{4}{12}-\frac{2}{12}\times {\log }_2\frac{2}{12}\\ & \approx 1.459\end{array}$$

4.3.7 计算学校的增益率
$$\begin{array}{rl}Gain\_ratio(X,学校)& =\frac{0.459}{1.459}\\ & \approx 0.315\end{array}$$

4.4 分析第四个自变量：经验

4.4.1 计算经验为无的信息熵

样本7个，是 = 6，否 = 1

$$\begin{array}{rl}H(X,经验=无)& =-\frac{6}{7}\times {\log }_2\frac{6}{7}-\frac{1}{7}\times {\log }_2\frac{1}{7}\\ & \approx 0.592\end{array}$$

4.4.2 计算经验为有的信息熵

样本5个，是 = 2，否 = 3

$$\begin{array}{rl}H(X,经验=有)& =-\frac{2}{5}\times {\log }_2\frac{2}{5}-\frac{3}{5}\times {\log }_2\frac{3}{5}\\ & \approx 0.971\end{array}$$

4.4.3 计算经验的条件熵
$$\begin{array}{rl}H(X,经验)& =\frac{7}{12}\times 0.592+\frac{5}{12}\times 0.971\\ & =0.750\end{array}$$
4.4.4 计算经验的信息增益
$$\begin{array}{rl}Gain(X,经验)& =H(X)-H(X,经验)\\ & =0.918-0.750\\ & =0.168\end{array}$$
4.4.5 计算经验的固有属性IV
$$\begin{array}{rl}IV(X,经验)& =-\frac{7}{12}\times {\log }_2\frac{7}{12}-\frac{5}{12}\times {\log }_2\frac{5}{12}\\ & \approx 0.980\end{array}$$
4.4.6 计算经验的增益率
$$\begin{array}{rl}Gain\_ratio(X,经验)& =\frac{0.168}{0.980}\\ & \approx 0.171\end{array}$$

五. 信息增益与增益率的统计

六. 选择划分的节点

6.1 计算平均信息增益

$$\begin{array}{rl}\overline{G}& =\frac{0+0.415+0.459+0.168}{4}\\ & =0.261\end{array}$$

在自变量中，找到其信息增益高于平均信息增益的变量，再选择增益率最高的变量作为划分的节点

6.2 选择节点

其中学校与学历的信息增益均高于平均信息增益，但学校的增益率更高，因此选择学校作为第一个节点

七. 以学校作为根节点

八. 将剩余的6个样本用其他三个自变量进一步划分

九. 待划分的数据

十. 带划分数据的总体信息熵

样本6个，是 = 2，否 = 4

$$\begin{array}{rl}H(X_1)& =-\frac{2}{6}\times {\log }_2\frac{2}{6}-\frac{4}{6}\times {\log }_2\frac{4}{6}\\ & \approx 0.918\end{array}$$

十一. 分析剩余变量

11.1 分析第一个剩余变量：性别

11.1.1 计算性别为男的信息熵

样本5个，是 = 2，否 = 3

$$\begin{array}{rl}H(X_1,性别=男)& =-\frac{2}{5}\times {\log }_2\frac{2}{5}-\frac{3}{5}\times {\log }_2\frac{3}{5}\\ & \approx 0.971\end{array}$$

11.1.2 计算性别为女的信息熵

样本1个，是 = 0，否 = 1

$$\begin{array}{rl}H(X_1,性别=女)& =-\frac{0}{1}\times {\log }_2\frac{0}{1}-\frac{1}{1}\times {\log }_2\frac{1}{1}\\ & =0\end{array}$$

11.1.3 计算性别的条件熵
$$\begin{array}{rl}H(X_1,性别)& =\frac{5}{6}\times 0.971+\frac{1}{6}\times 0\\ & \approx 0.809\end{array}$$
11.1.4 计算性别的信息增益
$$\begin{array}{rl}Gain(X_1,性别)& =H(X_1)-H(X_1,性别)\\ & =0.918-0.809\\ & =0.109\end{array}$$
11.1.5 计算性别的固有属性IV
$$\begin{array}{rl}IV(X_1,性别)& =-\frac{5}{6}\times {\log }_2\frac{5}{6}-\frac{1}{6}\times {\log }_2\frac{1}{6}\\ & \approx 0.650\end{array}$$
11.1.6 计算性别的增益率
$$\begin{array}{rl}Gain\_ratio(X_1,性别)& =\frac{0.109}{0.650}\\ & \approx 0.168\end{array}$$

11.2 分析第二个剩余变量：学历

11.2.1 计算学历为大专的信息熵

样本2个，是 = 0，否 = 2

$$\begin{array}{rl}H(X_1,学历=大专)& =-\frac{0}{2}\times {\log }_2\frac{0}{2}-\frac{2}{2}\times {\log }_2\frac{2}{2}\\ & =0\end{array}$$

11.2.2 计算学历为本科的信息熵

样本2个，是 = 0，否 = 2

$$\begin{array}{rl}H(X_1,学历=本科)& =-\frac{0}{2}\times {\log }_2\frac{0}{2}-\frac{2}{2}\times {\log }_2\frac{2}{2}\\ & =0\end{array}$$

11.2.3 计算学历为研究生的信息熵

样本2个，是 = 2，否 = 0

$$\begin{array}{rl}H(X_1,学历=本科)& =-\frac{2}{2}\times {\log }_2\frac{2}{2}-\frac{0}{2}\times {\log }_2\frac{0}{2}\\ & =0\end{array}$$

11.2.4 计算学历的条件熵
$$\begin{array}{rl}H(X_1,学历)& =\frac{2}{6}\times 0+\frac{2}{6}\times 0+\frac{2}{6}\times 0\\ & =0\end{array}$$
11.2.5 计算学历的信息增益
$$\begin{array}{rl}Gain(X_1,学历)& =H(X_1)-H(X_1,学历)\\ & =0.918-0\\ & =0.918\end{array}$$
11.2.6 计算学历的固有属性IV
$$\begin{array}{rl}IV(X_1,学历)& =-\frac{2}{6}\times {\log }_2\frac{2}{6}-\frac{2}{6}\times {\log }_2\frac{2}{6}-\frac{2}{6}\times {\log }_2\frac{2}{6}\\ & \approx 1.585\end{array}$$
11.2.7 计算学历的增益率
$$\begin{array}{rl}Gain\_ratio(X_1,学历)& =\frac{0.918}{1.585}\\ & \approx 0.579\end{array}$$

11.3 分析第三个剩余变量：经验

11.3.1 计算经验为无的信息熵

样本1个，是 = 0，否 = 1

$$\begin{array}{rl}H(X_1,经验=无)& =-\frac{0}{1}\times {\log }_2\frac{0}{1}-\frac{1}{1}\times {\log }_2\frac{1}{1}\\ & =0\end{array}$$

11.3.2 计算经验为有的信息熵

样本5个，是 = 2，否 = 3

$$\begin{array}{rl}H(X_1,经验=有)& =-\frac{2}{5}\times {\log }_2\frac{2}{5}-\frac{3}{5}\times {\log }_2\frac{3}{5}\\ & \approx 0.971\end{array}$$

11.3.3 计算经验的条件熵
$$\begin{array}{rl}H(X_1,经验)& =\frac{1}{6}\times 0+\frac{5}{6}\times 0.971\\ & \approx 0.809\end{array}$$
11.3.4 计算经验的信息增益
$$\begin{array}{rl}Gain(X_1,经验)& =H(X_1)-H(X_1,经验)\\ & =0.918-0.809\\ & =0.109\end{array}$$
11.3.5 计算经验的固有属性IV
$$\begin{array}{rl}IV(X_1,经验)& =-\frac{5}{6}\times {\log }_2\frac{5}{6}-\frac{1}{6}\times {\log }_2\frac{1}{6}\\ & \approx 0.650\end{array}$$
11.3.6 计算经验的增益率
$$\begin{array}{rl}Gain\_ratio(X_1,经验)& =\frac{0.109}{0.650}\\ & \approx 0.168\end{array}$$

十二. 增益率与信息增益的统计

十三. 选择划分的节点

13.1 计算平均信息增益

$$\begin{array}{rl}\overline{G}& =\frac{0.109+0.918+0.109}{3}\\ & \approx 0.379\end{array}$$

13.2 选择节点

只有学历的信息增益高于平均信息增益，因此选择学历作为节点

十四. 以学历作为节点再次分裂

十五. 手推实现

本次案例是对C4.5决策树的手推实现，如果有小伙伴有具体的代码实现讲解更好了。