数据挖掘十大经典算法之——C4.5 算法

数据挖掘算法之C4.5算法 C4.5算法是一种决策树，在ID3基础上实现，解决分类问题，属于监督学习，目标是根据已知的样本——每个样本具有多个不同的属性，属于某一类别，判断给出的元组的类别标签。 决策树的非叶节点为属性，分支代表属性值，叶节点为类别标签。 问题的关键在于如何确定节点——分裂点 我们的类别预测是由不确定逐步到确定，分裂点应该是对预测结果确定性影响最大的属性，称为样本最优属性。 信息熵：消除不确定性所需信息量的度量，信息熵越大表明事物随机性越强。 类别信息熵：所有样本中的各种类别出现的不确定性

数据集S的平均信息量，实质上是以2为底的对数函数在0到1的区间范围内离散类型的点对应的自变量和因变量之间的乘积之和，即S的类别数目个矩形的面积之和，从公式中我们可以通过画图以及推导，当某一类别中样品数大于训练数据集总数的一半时，其对平均信息量的贡献值小于1，当某一类别中样品数小于训练数据集总数的一半时，其对平均信息量的贡献值大于1。因为分解后的不同子集中，类别的数目以及同个类别内的数目之间的差异，对于分解后的平均信息量的数值会有影响，从而对于分解后的信息增加值也会产生影响。是从数据库中发现知识的技术。

C4.5算法是用于生成决策树的一种经典算法，是ID3算法的一种延伸和优化。通过信息增益率选择分裂属性，克服了ID3算法中通过信息增益倾向于选择拥有多个属性值的属性作为分裂属性的不足；能够处理离散型和连续型的属性类型，即将连续型的属性进行离散化处理；构造决策树之后进行剪枝操作；能够处理具有缺失属性值的训练数据。C4.5算法训练的结果是一个分类模型，这个分类模型可以理解为一个决策树，分裂属性就是一个树节点，分类结果是树的结点。每个节点都有左子树和右子树，结点无左右子树。

一、概述     C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习：给定一个数据集，其中的每一个元组都能用一组属性值来描述，每一个元组属于一个互斥的类别中的某一类。C4.5的目标是通过学习，找到一个从属性值到类别的映射关系，并且这个映射能用于对新的类别未知的实体进行分类。     C4.5由J.Ross Quinlan在ID3的基础上提出的。ID3算法用来构造决策树。决策树是一种类似流程图的树结构，其中每个内部节点（非树叶节点）表示在一个属性上的测试，每个分枝代表一个测试输出，而

相关文章： 数据挖掘领域十大经典算法之—K-Means算法（超详细附代码） 数据挖掘领域十大经典算法之—SVM算法（超详细附代码） 数据挖掘领域十大经典算法之—Apriori算法 数据挖掘领域十大经典算法之—EM算法 数据挖掘领域十大经典算法之—PageRank算法 数据挖掘领域十大经典算法之—AdaBoost算法（超详细附代码） 数据挖掘领域十大经典...

如无必要，勿增实体 多则参半，省则全无

Definition 决策树学习时应用最广的归纳推理算法之一。[1]它是一种逼近离散值函数的方法，对噪声数据有很好的健壮性且能够学习析取表达式。CLS， ID3，C4.5，CART均是决策树学习算法。 [1]归纳学习成立存在一个基本假设：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。“泛化能力” 决策树学习的归纳偏置是优先选择较小的树。 决策树

本文主要分析皆来自其他资料，借用较为权威的总结来对我已经学习的这些经典算法做一个极为精简的概述（根据自身经验有一定修改），另外同时附上机器学习实战中作者对各种算法的评价。另外机器学习实战这本书是本人看了这么多书籍或者资料中唯一一本坚持从头看到尾，看完了的书籍，包括其中的代码皆实践运行过，收获颇多，个人认为虽然这本书时间上已经算是老资料了，但其中作者的各种总结和代码的演练都由浅入深（前提还是要有一点基础的），让我能看懂并能从中学到东西，可能当时很多东西比较熟悉，后来淡忘，但当再次接触或使用它时能很快的重拾，所

分类决策树算法,其核心算法是ID3算法。目前应用在临床决策、生产制造、文档分析、生物信息学、空间数据建模等领域。算法的输入是带类标的数据，输出是树形的决策规则。

C4.5通过使用信息增益率来选择最优的分裂特征，能够处理连续值和缺失值，并通过后剪枝来防止过拟合。这使得它比ID3更加灵活和实用，尤其在复杂的实际应用中。

决策树之C4.5算法详解 主要内容 C4.5算法简介 分裂属性的选择——信息增益率 连续型属性的离散化处理 剪枝——PEP(Pessimistic Error Pruning)剪枝法 缺失属性值的处理 C4.5算法流程 C4.5算法优缺点分析 1. C4.5算法简介 C4.5算法是用于生成决策树的一种经典算法，是ID3算法的一种延伸和忧化。C4.5算法对ID3算法主要做了一下几点改进： （1）

（5）C4.5采用二分法处理连续特征，将连续特征进行排列，将连续两个值的中间值作为分裂节点，将小于该值和大于该值的样本分为两个类别，找到信息增益最大的分裂点，本质上还是用的离散特征。如果一个属性的信息增益越大，就表示用这个属性进行样本划分可以更好的减少划分后样本的不确定性，当然，选择该属性就可以更快更好地完成我们的分类目标。C4.5算法就是从提供的数据集中学习到如何将不同属性值的实例划分到不同类的映射，当我们提供一套全新的属性值的时候，它能够通过学到的映射对新的属性进行分类。不同的决策树算法有着不同的。

一、概论 C4.5主要是在ID3的基础上改进，ID3选择（属性）树节点是选择信息增益值最大的属性作为节点。而C4.5引入了新概念“信息增益率”,C4.5是选择信息增益率最大的属性作为树节点。 二、信息增益 以上公式是求信息增益率（ID3的知识点） 三、信息增益率 信息增益率是在求出信息增益值在除以。 例如下面公式为求属性为“outlook”的值： 四、C4.5的完整代码 from n...

本文介绍了ID3算法详细原理，并举例说明。

手动通过C4.5算法构建决策树

C4.5算法是一种决策树生成算法，它使用信息增益比（gain ratio）来选择最优分裂属性，它是ID3算法的改进版本。C4.5算法的核心思想是选择信息增益比最大的特征作为节点进行划分，以获得最好的分类能力。它使用熵来度量数据集的不确定性，通过计算特征的信息增益来评估特征对分类的贡献程度。信息增益比越大，表示该特征对分类的影响越大。即不考虑标签解结果来只考虑自己本身类别的比例例如：A集合：[1,1,1,2,2,3,3,3,3]

说明一下如何计算信息增益率。 熟悉了ID3算法后，已经知道如何计算信息增益，计算公式如下所示（来自Wikipedia）： 或者，用另一个更加直观容易理解的公式计算： 按照类标签对训练数据集D的属性集A进行划分，得到信息熵： 按照属性集A中每个属性进行划分，得到一组信息熵： 计算信息增益 然后计算信息增益，即前者对后者做差，得到属性集合A一

本篇文章也是多个博客的综合，有待进一步整理。 1、决策树-预测隐形眼镜类型 （ID3算法，C4.5算法，CART算法，GINI指数,剪枝，随机森林） 1. 我们应该设计什么的算法，使得计算机对贷款申请人员的申请信息自动进行分类，以决定能否贷款?     一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话： 女儿：多大年纪了？ 母亲：26。 女儿：长的

随着大数据和深度学习的兴起，未来的研究方向可能会倾向于如何结合C4.5算法的优点与现代技术相结合，比如将其融入深度学习架构中，或者探索更高效、鲁棒的决策树构造与剪枝策略。其中，C4.5算法是由Ross Quinlan在ID3算法的基础上发展而来，进一步改进了基于信息熵的属性选择方法，使得其在处理离散和连续属性方面表现出了优越的性能。注意：上面的代码仅为伪代码，展示了C4.5算法的关键部分。- 处理连续属性：对于连续属性，C4.5引入了二元分裂法，即将连续属性划分为多个区间，从而转化为离散属性进行处理。