【异常检测】task2 基于统计学的方法

1.概述

统计学方法对数据的正常性做出假定。它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。

异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。即利用统计学方法建立一个模型，然后考虑对象有多大可能符合该模型。

根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要类型

• 参数方法假定正常的数据对象被一个以$\Theta$为参数的参数分布产生。该参数分布的概率密度函数$f(x,\Theta )$给出对象$x$被该分布产生的概率。该值越小，$x$越可能是异常点。

• 非参数方法并不假定先验统计模型，而是试图从输入数据确定模型。非参数方法通常假定参数的个数和性质都是灵活的，不预先确定（所以非参数方法并不是说模型是完全无参的，完全无参的情况下从数据学习模型是不可能的）。

2、参数方法

2.1 基于正态分布的一元异常点检测

仅涉及一个属性或变量的数据称为一元数据。我们假定数据由正态分布产生，然后可以由输入数据学习正态分布的参数，并把低概率的点识别为异常点。

假定输入数据集为 { x ( 1 ) , x ( 2 ) , . . . , x ( m ) } \{x^{(1)}, x^{(2)}, ..., x^{(m)}\} {x(1),x(2),...,x(m)}，数据集中的样本服从正态分布，即$x^{(i)}\sim N(\mu ,{\sigma }^2)$，我们可以根据样本求出参数$\mu$和$\sigma$。

$\mu =\frac{1}{m}{\sum }_{i=1}^m{x}^{(i)}$

${\sigma }^2=\frac{1}{m}{\sum }_{i=1}^m(x^{(i)}-\mu {)}^2$

求出参数之后，我们就可以根据概率密度函数计算数据点服从该分布的概率。正态分布的概率密度函数为

$p(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$

如果计算出来的概率低于阈值，就可以认为该数据点为异常点。

阈值是个经验值，可以选择在验证集上使得评估指标值最大（效果最好）的阈值取值作为最终阈值。

例如常用的3sigma原则中，如果数据点超过范围$(\mu -3\sigma ,\mu +3\sigma )$，那么这些点很有可能是异常点。

这个方法还可以用于可视化。箱线图对数据分布做了一个简单的统计可视化，利用数据集的上下四分位数（Q1和Q3）、中点等形成。异常点常被定义为小于Q1－1.5IQR或大于Q3+1.5IQR的那些数据。

使用Python画一个简单的箱线图

import numpy as np 
import seaborn as sns 
import matplotlib.pyplot as plt 
%matplotlib inline 

data = np.random.randn(50000) * 20 + 20
sns.boxplot(data=data)
max(data),min(data)

2.2 多元异常点检测

涉及两个或多个属性或变量的数据称为多元数据。许多一元异常点检测方法都可以扩充，用来处理多元数据。其核心思想是把多元异常点检测任务转换成一元异常点检测问题。

例如基于正态分布的一元异常点检测扩充到多元情形时，可以求出每一维度的均值和标准差。

对于第$j$维：

${\mu }_j=\frac{1}{m}{\sum }_{i=1}^m{x}_j^{(i)}$

${\sigma }_j^2=\frac{1}{m}{\sum }_{i=1}^m(x_j^{(i)}-{\mu }_j{)}^2$

计算概率时的概率密度函数为

$p(x)={\prod }_{j=1}^{n}p(x_j;{\mu }_j,{\sigma }_j^2)={\prod }_{j=1}^n\frac{1}{\sqrt{2\pi }{\sigma }_j}exp(-\frac{(x_j-{\mu }_j{)}^2}{2{\sigma }_j^2})$

这是在各个维度的特征之间相互独立的情况下。如果特征之间有相关性，就要用到多元高斯分布了。

多个特征相关且符合高斯分布
$\mu =\frac{1}{m}{\sum }_{i=1}^m{x}^{(i)}$

$\sum =\frac{1}{m}{\sum }_{i=1}^m(x^{(i)}-\mu )(x^{(i)}-\mu {)}^T$

$p(x)=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)$

2.3 使用混合参数分布

在许多情况下假定数据是由正态分布产生的。当实际数据很复杂时，这种假定过于简单，可以假定数据是被混合参数分布产生的。

3. 非参数方法

在异常检测的非参数方法中，“正常数据”的模型从输入数据学习，而不是假定一个先验。通常，非参数方法对数据做较少假定，因而在更多情况下都可以使用。（即参数方法先假定了数据符合某个分布，而非参数方法没有进行预先的假设）

使用直方图检测异常点
直方图是一种频繁使用的非参数统计模型，可以用来检测异常点。该过程包括以下两步：

1. 构造直方图：使用输入数据（训练数据）构造一个直方图，该直方图可以是一元的，也可以是多元的（如果输入数据是多维）
2. 检测异常点：为了确定一个对象是否是异常点，可以对照直方图检查它。在最简单的方法中，如果该对象落入直方图的一个箱中，则该对象被看作是正常的，否则被认为是异常点。

【注意】

• 尽管非参数方法并不假定任何先验统计模型，但是通常确实要求用户提供参数，以便由数据学习。例如，用户必须制定直方图的类型（等宽的或者等深的）和其他参数（直方图中箱数或每个箱的大小等），与参数法不同，这些参数并不制定数据的分布类型
• 对于更复杂的方法，可以使用直方图赋予每个对象一个异常点得分。例如令对象的异常点的得分为该对象落入箱的容积的倒数
• 使用直方图作为异常点检测非参数模型的缺点是：很难选择一个合适的箱尺寸，如果箱尺寸太小，则许多正常对象都会录入空的或稀疏的箱中，因而被识别为异常点。如果箱尺寸太大，则异常点对象可能深入某些频繁的箱中，被错误识别成正常的

4. 基于角度的方法

基于角度的方法的主要思想是：数据边界上的数据很可能将整个数据包围在一个较小的角度内，而内部
的数据点则可能以不同的角度围绕着他们。如下图所示，其中点A是一个异常点，点B位于数据内部。

如果数据点与其余点离得较远，则潜在角度可能越小。因此，具有较小角度谱的数据点是异常值，而具有较大角度谱的数据点不是异常值。

5. HBOS

HBOS（Histogram-based Outlier Score）。它是一种单变量方法的组合，不能对特征之间的依赖关系进行建模，但是计算
速度较快，对大数据集友好。其基本假设是数据集的每个维度相互独立。然后对每个维度进行区间(bin)划分，区间的密度越高，异常评分越低。

HBOS算法流程
 （1）为每个数据维度做出数据直方图，对分类数据统计每个值的频数，并计算相对频率，对数值数据根据分布的不同采用以下两种方法：

 （2）对每个维度都计算了一个独立的直方图，其中每个箱子的高度表示密度的估计。然后为了使得最大高度为1（确保了每个特征与异常值得分的权重相等），对直方图进行归一化处理。最后，每一个实例的HBOS值由以下公式计算：

$$HBOS(p)=\sum _{i=0}^d\log \left(\frac{1}{{\text{hist}}_i(p)}\right)$$

推导过程：

假设样本p第 i 个特征的概率密度为$p_i(p)$ ，则p的概率密度可以计算为：
$$P(p)=P_1(p)P_2(p)\cdots P_d(p)$$
两边取对数：
$$\begin{array}{rl}\log (P(p))& =\log \left(P_1(p)P_2(p)\cdots P_d(p)\right)=\sum _{i=1}^d\log \left(P_i(p)\right)\end{array}$$
概率密度越大，异常评分越小，为了方便评分，两边乘以“-1”：
$$-\log (P(p))=-1\sum _{i=1}^d\log \left(P_t(p)\right)=\sum _{i=1}^d\frac{1}{\log \left(P_i(p)\right)}$$
最后可得：
$$HBOS(p)=-\log (P(p))=\sum _{i=1}^d\frac{1}{\log \left(P_i(p)\right)}$$

5. 总结

 （1）异常检测的统计学方法由数据学习模型，以区别正常的数据对象和异常点。使用统计学方法的一个优点是，异常检测可以是在统计上无可非议的。当然，仅当对数据所做的统计假定满足实际约束时才为真。
 HBOS在全局异常检测问题上表现良好，但不能检测局部异常值。但是HBOS比标准算法快的多，尤其是在大数据集上。

6. 练习

文档与API介绍（英文）: Welcome to PyOD documentation! Jupyter
Notebook示例（notebooks文件夹）: Binder (beta)

1.使用PyOD库生成toy example并调用HBOS

from pyod.models.hbos import HBOS
from pyod.utils.data import generate_data
from pyod.utils.data import evaluate_print
from pyod.utils.example import visualize

if __name__=='__main__':
    contamination=0.1 #异常值百分比
    n_train=200 #训练集数据量
    n_test=100 #测试集数据量
    
    #生成示例数据
    X_train,y_train,X_test,y_test=generate_data(n_train=n_train,
                                               n_test=n_test,
                                               contamination=contamination,
                                               random_state=42)
    
    #HBOS
    clf_name='HBOS'
    clf=HBOS()
    clf.fit(X_train)
    
    #得到训练数据的预测标签和异常值得分
    y_train_pred=clf.labels_ #0为正常，1为异常
    y_train_scores=clf.decision_scores_
    
    #对测试集进行预测
    y_test_pred = clf.predict(X_test)  
    y_test_scores = clf.decision_function(X_test) 
    
    #评估并打印结果
    print("\nOn Training Data:")
    evaluate_print(clf_name, y_train, y_train_scores)
    print("\nOn Test Data:")
    evaluate_print(clf_name, y_test, y_test_scores)
    
    #可视化结果
    visualize(clf_name,X_train,y_train,X_test,y_test,
             y_train_pred,y_test_pred,
             show_figure=True,
             save_figure=False)

参考资料

[1]Goldstein, M. and Dengel, A., 2012. Histogram-based outlier score (hbos):A fast unsupervised anomaly detection algorithm . InKI-2012: Poster and Demo Track, pp.59-63.

[2]http://speech.ee.ntu.edu.tw/~tlkagk/courses.html

[3]http://cs229.stanford.edu/