朴素贝叶斯算法

注：其实不是原创，可也不是转载和翻译，是整理的邹博《机器学习》视频配套ppt里关于朴素贝叶斯的算法推导。怎么就没有个其它选项，不选还不行？

数学基本公式

条件概率公式：

$$P(A|B) = \frac{P(AB)}{P(B)}$$
全概率公式：
$$P(A) = \sum_{i}P(A|B_i){P(B_i)}$$
贝叶斯公式：
$$P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j}P(A|B_j)P(B_j)}$$

朴素贝叶斯算法 Naive Bayes

1、问题
　　对于给定的特征向量$X(x_1,x_2,...,x_n)$,类别$y$的概率可以根据贝叶斯公式得到：
　　

$$P(y|x_1,x_2,...,x_n) = \frac{P(y)P(x_1,x_2,...,x_n|y)}{P(x_1,x_2,...,x_n)}$$
　　求给定新的样本$x_{n+1}$时，其类别$\hat{y}$是什么。
2、推导
　　（1）特征独立性假设：一个特征出现的概率，与其它特征（条件）独立，每个特征同等重要。
　　（2）由上面假设推出：
　　

$$P(x_i|y,x_1,x_2,...,x_{i-1},x_{i+1},...,x_n) = P(x_i|y)$$
　　则有：
　　 $$P(y|x_1,x_2,...,x_n) = \frac{P(y)P(x_1,x_2,...,x_n|y)}{P(x_1,x_2,...,x_n)} = \frac{P(y)\prod_{i=1}^{n}P(x_i|y)}{P(x_1,x_2,...,x_n)}$$
　　（3）又，在给定样本集的前提下，$P(x_1,x_2,...,x_n)$是常数，则有
　　 $$P(y|x_1,x_2,...,x_n) \propto{P(y)\prod_{i=1}^{n}P(x_i|y)}$$
　　（4）从而
　　 $$\hat{y}=\mathop{\arg\max}_{y} P(y)\prod_{i=1}^{n}P(x_i|y)$$

高斯朴素贝叶斯Gaussian Naive Bayes

假定特征服从高斯分布，即有：

$$P(x_i|y) = \frac{1}{\sqrt{2\pi }\sigma_y}exp(-\frac{(x_i-\mu_y)^2}{2\sigma^2_y})$$
参数使用MLE估计即可：
假定训练集为T
$$\mu = \frac{1}{n}\sum_{x \epsilon T}x_i$$
$$\sigma^2 = \frac{1}{n}\sum_{x \epsilon T}{(x_i-\mu)^2 }$$
将$P(x_i|y)$代入朴素贝叶斯公式求出$\hat{y}$

多项式朴素贝叶斯 Multinomial Naive Bayes

假定特征服从多项式分布，对每个类别$y$，参数为

$$\theta_y=(\theta_{y1},\theta_{y2},...,\theta_{yn})$$
其中$n$为特征的数目，$P(x_i|y)$的概率为$\theta_{yi}$
参数$\theta_y$使用MLE估计的结果为：

$$\theta_{yi}=\frac{N_{yi}+\alpha}{N_y+\alpha n},\ \ \ \ \alpha \geqslant 0$$
假定训练集为T，属于y类别的样本集为$T_y$，则有：
$N_{yi} = \sum_{x \epsilon T_y}x_i$ （属于$y$类别的样本中$x_i$出现多少次）
$N_{y} = \sum_{i=1}^{T}N_{yi}$ （属于$y$类别的样本个数）
其中：
　　$\alpha = 1$称为Laplace平滑，避免$\theta_{yi}$出现0/0的算法异常；
　　$\alpha<1$称为Lidstone平滑
将$P(x_i|y)$代入朴素贝叶斯公式求出$\hat{y}$