使用python对信息熵进行计算

最新推荐文章于 2024-09-14 09:04:29 发布

原创最新推荐文章于 2024-09-14 09:04:29 发布 · 3.2k 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

智能钻完井同时被 2 个专栏收录

253 篇文章

订阅专栏

Python在石油工程中应用

81 篇文章

订阅专栏

本文深入探讨了决策树类算法在机器学习中的应用，特别关注于如何利用信息熵选择重要特征属性，以此来划分数据集，提升模型的训练效果。通过具体的Python代码示例，展示了香农熵的计算过程。

在机器学习中的决策树类算法中主要依靠信息熵的大小来选择重要的特征属性作为节点换分数据集从而获得训练结果

#-*-coding:utf-8-*-
from math import log
import operator

def calcShanonEnt(dataSet):
    '''
    计算给定数据集的香农熵
    :param dataSet:
    :return:shanonEnt
    '''
    numEntries = len(dataSet)
    labelCounts={}
    for featVec in dataSet:
        currentLabel = featVec[-1]
        if currentLabel not in labelCounts.keys():
            labelCounts[currentLabel]=0
        labelCounts[currentLabel] +=1
    shanonEnt = 0.0
    for key in labelCounts:
        prob= float(labelCounts[key])/numEntries
        shanonEnt -= prob*log(prob,2)
    return shanonEnt

作者：WangB