统计学习方法第2版学习笔记

统计学习方法第2版学习笔记

第五章 决策树
决策树是一种基本的分类和回归方法

决策树可以看做一个if-else规则的集合，到达每个叶子的路径是固定的，可以看做是一个规则。

决策树还可以认为是一种条件概率分布。

决策树一般用于分类，通过大量数据集的训练构建一个决策树模型，使用该模型能够进行正确的分类。
NP完全问题（这里的NP其实是Non-deterministic Polynomial的缩写，即多项式复杂程度的非确定性问题，NP完全问题有时也会简称为NP-C问题。）
决策树的学习算法通常是一个递归的选择最优特征，然后分层划分，使得各个子数据集有一个更好的分类过程。这个过程类似从根节点到叶节点层层画树。
熵（entropy）表示随机变量的不确定性，例如：

熵越大，随机变量的不确定性就越大。