《统计学习方法》四：手推“朴素贝叶斯法”

第四章 朴素贝叶斯法

朴素贝叶斯法是通过学习输入$X$和输出$Y$的联合分布$P(X,Y)$，对给定的输入$x$，根据贝叶斯理论求出后验概率最大的输出$y$的方法。是一种生成学习方法

4.1.朴素贝叶斯算法的学习与分类
4.1.1.基本方法


4.1.2.后验概率最大化的含义
朴素贝叶斯将实例分到后验概率最大的类中，这等价于期望风险最下化。

4.2.朴素贝叶斯算法的参数估计
4.2.1.极大似然估计
朴素贝叶斯可使用极大似然估计，即认为在条件下已经出现最多的实例是概率最大的。

4.2.2.学习分类与算法

4.2.3.贝叶斯估计
使用极大似然会出现要顾及的概率值为0的情况，会影响到后验概率的计算结果（因为后验概率要除以$y=c$的概率，此概率不能为0），使分类产生偏差，可使用贝叶斯估计解决。