机器学习之集成算法----Adaboost算法

最新推荐文章于 2025-09-06 16:30:48 发布
原创 最新推荐文章于 2025-09-06 16:30:48 发布 · 1.9k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Adaboost是一种集成学习算法，通过迭代训练弱学习器并调整样本权重来构建强学习器。它首先使用初始权重训练弱学习器，根据误差率更新样本权重，再基于调整后的权重训练下一个弱学习器。此过程反复进行，直到达到预设的弱学习器数量。Adaboost常使用的弱学习器包括决策树。其优点包括高分类精度、灵活性和不易过拟合，但对异常样本敏感。常见的结合策略是加权多数表决。Adaboost算法在实际应用中表现出色，广泛应用于分类和回归任务。

目录

Boosting 算法基本原理

在这里插入图片描述
Boosting算法的工作机制 是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器2.，如此重复进行，直到弱学习器数达到事先指定的数目T，最终将这T个弱学习器通过集合策略进行整合，得到最终的强学习器。

对应问题

  • 1 如何计算弱学习器的学习误差率e
  • 2 如何得到弱学习器的权重系数α
  • 3 如何更新训练样本权重D
  • 4 使用何种结合策略

Adaboost 算法

在boosting系列算法中， Adaboost是最著名的算法之一。Adaboost既可以用作分类，也可以用作回归

算法流程

标准AdaBoost算法只适用于二分类任务
在这里插入图片描述
在这里插入图片描述

个人描述

在这里插入图片描述

指示函数

在这里插入图片描述

学习器权重和样本权重 公式推导

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
权重之和为1
在这里插入图片描述

Adaboost算法的正则化

在这里插入图片描述

小结

理论上任何学习器都可以用于Adaboost.但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。

这里对 Adaboost算法的优缺点 做一个总结。

Adaboost的主要优点有：

1）Adaboost作为分类器时，分类精度很高

2）在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活。

3）作为简单的二元分类器时，构造简单，结果可理解。

4）不容易发生过拟合

Adaboost的主要缺点有：

1）对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性

传送门

集成学习之Adaboost算法原理小结
AdaBoost算法详解以及代码实现
AdaBoost算法详解与python实现
数据挖掘领域十大经典算法之—AdaBoost算法（超详细附代码）

视频

集成学习：XGBoost, lightGBM

【机器学习算法】——决策树之集成学习：Bagging、Adaboost、Xgboost、RandomForest、XGBoost
chairon的博客
12-12 1931
*集成学习(Ensemble learning)**是机器学习中近年来的一大热门领域。使用于组合的算法是弱学习算法，即分类正确率仅比随机猜测略高的学习算法，但是组合之后的效果仍可能高于强学习算法，即集成之后的算法准确率和效率都很高。三个臭皮匠，赛过诸葛亮！！！以弱搏强，就是集成学习！
OpenCV机器学习（2）提升算法类cv::ml::Boost
jndingxin的专栏
02-13 1229
cv::ml::Boost 是 OpenCV 机器学习模块中的一部分，用于实现提升算法（Boosting Algorithms）。Boosting 是一种集成学习方法，通过组合多个弱学习器来创建一个强学习器。OpenCV 提供了对几种不同类型的 Boosting 算法的支持，包括 Discrete AdaBoost、Real AdaBoost、LogitBoost 和 Gentle AdaBoost。
AdaBoost 算法
Rnan_prince的博客
02-06 4914
AdaBoost 算法 是一种经典的集成学习算法，它将多个弱分类器集成起来，以达到较高的分类准确率，广泛应用于数据分类、人脸检测等应用中。尤其在人脸检测方面，AdaBoost 是非常经典、成功的一个算法。弱分类器被线性组合成为一个强分类器。 一、面临两个问题： 在每一轮，如何改变训练数据的概率分布或者权值分布。 如何将弱分类器组合成强分类器。 二、AdaBoost 的思路： ...
集成学习之Adaboost算法
weixin_42455006的博客
12-29 3027
文章目录1.背景2.基本原理3.Adaboost算法4.周志华老师Boosting25周年5.Adaboost算法优缺点6.Q&A 转载自https://blog.csdn.net/fwh_1307/article/details/122021348 1.背景 集成学习(ensemble learning)通过构建并结合多个学习器来提升性能 集成学习分为两大类： 个体分类器存在强依赖方法(Boosting) 个体学习器之间不存在强依赖关系(Bagging,随机森林) 提升方法的思路： 对于一个复杂任
机器学习算法优缺点及其应用领域
weixin_34071713的博客
04-16 1550
原文：http://blog.csdn.net/mach_learn/article/details/39501849 决策树 一、  决策树优点 1、决策树易于理解和解释，可以可视化分析，容易提取出规则。 2、可以同时处理标称型和数值型数据。 3、测试数据集时，运行速度比较快。 4、决策树可以很好的扩展到大型数据库中，同时它的大小独立于数据库大小。 二、决策树缺点 1、对缺失数据...
机器学习中的强学习器：AdaBoost算法详解
m0_61789994的博客
12-25 5404
机器学习中的强学习器：AdaBoost算法详解目录1. 引言2. AdaBoost的基本概念2.1 弱学习器2.2 错误率与权重更新3. AdaBoost的工作流程3.1 初始化权重3.2 训练弱学习器3.3 更新样本权重3.4 构建强学习器4. AdaBoost的优缺点4.1 优点4.2 缺点5. 应用场景6. AdaBoost与其他算法的比较7. 实例演示：使用AdaBoost解决二分类问题7.1 数据准备7.2 模型训练。
Boosting算法简介
weixin_34249367的博客
01-18 1384
一、Boosting算法的发展历史 　　Boosting算法是一种把若干个分类器整合为一个分类器的方法，在boosting算法产生之前，还出现过两种比较重要的将多个分类器整合为一个分类器的方法，即boostrapping方法和bagging方法。我们先简要介绍一下bootstrapping方法和bagging方法。 　　1）bootstrapping方法的主要过程 　　...
28、机器学习集成算法：从Adaboost到模型融合策略
swift5iosmith的博客
07-08 104
本文详细介绍了机器学习中的集成算法，涵盖从Adaboost到模型融合策略的核心思想与实践方法。内容包括影响葡萄酒质量的关键因素、Bagging和Boosting的基础原理、Adaboost和梯度提升机（GBM）的实现细节，以及Blending和Stacking等高级融合技术。文章还通过代码示例展示了如何在Scikit-learn中实现这些算法，并对不同集成策略进行了对比分析，提出了实际应用中的注意事项和未来展望。
机器学习实战——集成学习 Adaboost 算法
wxw_csdn的博客
12-25 726
机器学习实战——集成学习 Adaboost 算法1 模型介绍1.1 集成学习概述1.2 集成学习的组合策略1.2.1 平均法1.2.2 投票法1.2.3 学习法1.3 Adaboost 算法的介绍2 sklearn中的实现 1 模型介绍 1.1 集成学习概述 集成学习通过构建并结合多个学习器来完成学习任务。对于训练集数据，我们通过训练若干个个体学习器，通过一定的结合策略，最终可以形成一个强学习器，...
【机器学习入门】集成学习之AdaBoost算法
m0_53294028的博客
04-07 944
群体的智慧常常优于单个个体的决策。正所谓，“三个臭皮匠顶个诸葛亮”，集成学习的思路正是如此。单个模型的预测误差可能比较大，但将若干个比较弱的模型组织再一起，则可以减少误差，产生较强的预测模型。以上就是今天的学习内容，本文仅仅简单介绍了集成学习的思想，详细了解了AdaBoost算法的设计过程。
【机器学习入门二】集成学习及AdaBoost算法的python实现
gongyi_yf的博客
03-25 974
本文主要基于周志华老师的《机器学习》第八章内容 个体与集成 集成学习通过构建并结合多个学习器来完成学习任务。集成学习的一般结构如图所示： 先产生一组个体学习器，在用某种策略把它们结合在一起。个体学习器通常有一个现有的学习算法从训练数据产生，如决策树桩和BP神经网络。个体学习器可以使相同类型的也可以是不同类型的，比如全是神经网络或者同事含有神经网络和决策树桩。 集成学习通过将多个学习...
机器学习集成学习——Adaboost分离器算法
张小鱼的博客
05-23 2123
本文主要介绍Adaboost集成学习算法，以及一些案例举例Adaboost是一种集成学习算法，用于构建一个强大的分类器或回归器。在Adaboost中，每个弱分类器/回归器都是由弱学习算法（例如决策树或线性回归）构成的。每个弱分类器/回归器都对样本进行分类或预测，并根据分类/预测的准确性进行加权。然后，所有弱分类器/回归器的加权和被用作最终分类器/回归器。Adaboost算法通过迭代地训练弱分类器/回归器，并调整样本的权重来提高整体模型的准确性。
『机器学习算法』集成学习——AdaBoost
L聪记博客
08-07 2188
1、基本属性 a、算法名称 英文名：AdaBoost 中文名： b、属于分类、回归或其它算法中的哪种类别 属于分类算法 c、属于有监督、无监督、半监督的哪种类别 属于有监督 d、对于数据分布是否有要求，如果有，要求是哪种分布？ e、是否属于集成学习方法，如果是，基学习器是否可以并行运行 属于集成学习方法；不可以并行运行，只可以串行运行 f、适应于哪种类型的
机器学习之集成学习（二）AdaBoost算法
ivy_reny的专栏
01-24 5240
一、boosting算法的基本原理         集成学习器根据个体学习器的生成是否存在依赖关系，可以分为两类：个体学习器间存在强依赖关系，必须串行生成，代表算法是boosting系列算法；个体学习器之间不存在强依赖关系，可以并行生成，代表算法是bagging和随机森林系列算法。在boosting系列算法中，AdaBoost是最著名的算法之一。AdaBoost既可以用作分类，也可以用作回归。
【机器学习】集成学习算法之AdaBoost
撕得失败的标签的博客
11-27 845
对求得的新权重进行归一化求出权重分布。首先，是初始化训练数据的权值分布。，这样训练样本集的初始权值分布。选取一个当前误差最低的弱分类器。个基本分类器，并计算弱分类器。，得出训练样本的权重分布。进行归一化求出权重分布。生成第 1 棵决策树。生成第 2 棵决策树。
机器学习 集成学习篇——python实现Bagging和AdaBOOST算法
Cyrus_May的博客
06-12 3550
机器学习 集成学习篇——python实现Bagging和AdaBOOST算法摘要Bagging算法Adaboost算法 摘要 本文通过python实现了集成学习中的Bagging和AdaBOOST算法，并将代码进行了封装，方便读者调用。 Bagging算法 import numpy as np import pandas as pd class Cyrus_bagging(object): def __init__(self,estimator,n_estimators = 20):
【机器学习实战笔记 12】集成学习：AdaBoost算法
Wilber的blog。心若有所向往，又何惧道阻且长。
06-20 1461
讲解Boosting算法思想、AdaBoost算法思想、参数讲解、原理实现以及sklearn库实现的基本过程。
机器学习-集成之AdaBoost算法原理及实战
周先森爱吃素的博客
04-01 1573
Boosting和AdaBoost 简介 Bagging采用的是一种多个分类器简单评分的方式。而Boosting是和Bagging对应的一种将弱分类器组合成为强分类器的算法框架，它根据分类器学习误差率来更新训练样本的权重。AdaBoost算法就是Boosting算法的一种。它建立在多个若分类器的基础上，为分类器进行权重赋值，性能好的分类器能获得更多权重，从而使评分效果更理想。 原理 Ad...
机器学习——集成学习算法（Adaboost、随机森林）
qq_52669357的博客
06-11 7084
Bagging + 决策树 = 随机森林 AdaBoost + 决策树 = boosting
Day22_【机器学习—集成学习（3）—Boosting—Adaboost算法】
最新发布
l12345sy的博客
09-06 247
(自适应提升)是基于 Boosting思想实现的一种集成学习算法，核心思想是通过逐步那些被的样本的来训练一个。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值