模型融合Blending 和 Stacking

前言

机器学习中很多训练模型通过融合方式都有可能使得准确率等评估指标有所提高，这一块有很多问题想学习，于是写篇博客来介绍，主要想解决：

• 什么是融合？
• 几种方式融合
• 基本的模型融合组合及适用场景、优缺点等

什么是融合？

构建并结合多个学习器来完成学习任务，我们把它称为模型融合或者集成学习。不同的模型有各自的长处，具有差异性，而模型融合可以使得发挥出各个模型的优势，让这些相对较弱的模型（学习器）通过某种策略结合起来，达到比较强的模型（学习器）。基本的融合方式有：

• Blending
• Stacking

选择融合模型的模型有两点要求：

• 准确性
  要求该模型的性能不能太差
• 差异性
  选择模型一般是多个，要求这多个模型之间有差异，有差异才能通过融合模型发挥他们的优势。

Blending融合方式

主要思想是多个学习器投票、加权等方式来获得一个新的预测值，在分类问题中就是多数投票，回归问题就是加权，对学习器结果进行加权求和，权重值和为1。那么一些基本的融合方式就是：

Uniform Blending (均匀融合)

少数服从多数思想，投票模型，直接可以根据多个模型结果做判断。
$$G(x)=sign(\sum _{t=1}^{T}1\ast g_t(x))$$
在这里给每个学习器的权重都是1，每一个权重都是一样的，通过投票的方式来确定选择哪个。

Linear Blending (线性融合)

$$G(x)=sign(\sum _{t=1}^T{a}_t$$