使用决策树算法进行熵演变的Python实现

使用决策树算法进行熵演变的Python实现

决策树是一种常用的分类和回归算法，可以通过自顶向下的逐步决策对数据进行分类或者预测。而熵指的是系统的混乱程度，通过计算每种情况出现的概率和信息熵（也称香农熵）可以得到系统的不确定性程度。

在机器学习中，可以利用决策树算法来构建分类器，选择最优划分属性，即使得信息增益最大的属性，将数据划分为不同的类别。而信息增益的计算就需要用到熵的概念。在本文中，我们将使用Python语言实现决策树算法，并结合熵的概念进行演变。

首先，我们需要导入相关的库：

import numpy as np
from math import log2

接下来，我们需要定义一个函数来计算数据集的熵：

def calc_entropy(data_y):
    num_entries = len(data_y)
    label_counts = {}
    for feat_vec in data_y:
        current_label = feat_vec[-1]
        if current_label not in label_counts.keys():
            label_counts[current_label] = 0
        label_counts[current_label] += 1
    entropy = 0.0
    for key in label_counts:
        prob = float(label_counts[key])/num_entries
        entropy -= prob * log2(pr