bagging方法

前言

前篇文章介绍了集成学习的三种方式，本篇具体梳理bagging方式的详细过程和实现。

一、数据采样----有放回的采样

1. 对一个包含 m 个样本的数据集，base learner有k个，进行 m 次有放回的随机采样，这样得到k个大小为m的采样集分别给k个模型进行训练。

2. 没有被采样到的样本作为验证集，因为是有放回的采样，所以采样到的样本有可能有重复样本。

3. 假设一个样本被抽取的概率是1/m，则抽样次数足够大时，一个样本不被抽到的概率为36.8%。

二、使用步骤

1.引入库

代码如下（示例）：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
import  ssl
ssl._create_default_https_context = ssl._create_unverified_context

2.读入数据

代码如下（示例）：

data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

总结