【推荐】样本/数据一致性检验的方法

写在前面：

一致性检验的目的在于比较不同方法得到的结果是否具有一致性。

比如采集的样本和真实样本是否一致，比如两种抽样方法得到的两个样本集是否一致，比如两种不同超参数设置下的聚类方法得到的聚类结果是否一致，等等

检验一致性，你用哪种方法？ - 知乎

检验一致性的方法有很多比如：Kappa检验、ICC组内相关系数、Kendall W协调系数等。每种方法的功能侧重，数据要求都略有不同：

Kappa系数检验，适用于两次数据（方法）之间比较一致性，比如两位医生的诊断是否一致，两位裁判的评分标准是否一致等。

ICC组内相关系数检验，用于分析多次数据的一致性情况，功能上与Kappa系数基本一致。ICC分析定量或定类数据均可；但是Kappa一致性系数通常要求数据是定类数据。

Kendall W协调系数，是分析多个数据之间关联性的方法，适用于定量数据，尤其是定序等级数据。

（1）Kappa检验

Kappa检验分为简单Kappa检验和加权Kappa检验，两者的区别主要在于：

• 如果研究数据是绝对的定类数据（比如阴性、阳性），此时使用简单Kappa系数；
• 如果数据为等级式定类数据（比如轻度，中度，重度；也或者不同意，中立，同意）；此时可使用加权（线性）Kappa系数。

应用举例

两个医生