第2关：基于朴素贝叶斯的文本分类

任务描述

本关任务：根据本关所学有关朴素贝叶斯的知识，编写基于朴素贝叶斯理论进行文本分类的程序，并通过所有测试用例。

相关知识

为了完成本关任务，你需要掌握：

1. 贝叶斯决策理论思想；

2. 朴素贝叶斯分类器的实现。

贝叶斯决策理论

在学习朴素贝叶斯分类之前，我们先回顾一下贝叶斯决策理论和条件概率。贝叶斯决策理论的核心思想是选择最高概率对应的类别，也就是选择具有最高概率的决策。贝叶斯准则是计算条件概率的有效方法，可以告诉我们如何交换条件概率中的条件与结果，即如果已知P(X∣C)，要求P(C∣X)，那么就可以使用下面的计算方法： P(Ci​∣X)=P(X)P(X∣Ci​)P(Ci​)​

假设我们有一个二维数据集，由两类数据组成，现在我们结合贝叶斯决策理论使用条件概率来给这些数据点分类。即给定数据点(x,y)，判断是属于类别1还是类别2的方法是，分别计算该数据点来自类别1和来自类别2的概率。所以真正需要比较的是P(C1​∣x,y)和P(C2​∣x,y)。若已知从给定类别中取出该数据的概率，即P(x,y∣Ci​)，应用贝叶斯准则可以得到： P(Ci​)=P(x,y)P(x,y∣Ci​)​

当P(C1​∣x,y)>P(C2​∣x,y)，那么属于类别1； 当P(C2​∣x,y)>P(C1​∣x,y)，那么属于类别2；

以上是贝叶斯准则的简要理论，我们在对文档进行分的类常用算法朴素贝叶斯分类- 器中“朴素”一词基于两个假设：

• 特征之间相互独立，在上述二维数据中的体现就是 x 与 y 相互独立；
• 每个特征同等重要。即 x 与 y 有同样的重要性。

在应用于文档分类时，尽管很多情况下特征难以完全符合上述假设，但朴素贝叶斯的实际效果却很好。接下来我们将介绍如何使用朴素贝叶斯理论进行文本分类。

朴素贝叶斯分类器的实现

在文档分类中，整个文档（如一封电子邮件）是实例，文档中的某些元素构成特征。我们把每个词的出现或不出现作为一个特征。整