AB测试 - 假设检验的两类错误

最新推荐文章于 2026-06-12 13:32:32 发布

原创

最新推荐文章于 2026-06-12 13:32:32 发布 · 4.3k 阅读

本文介绍了在假设检验中可能出现的I类错误（α错误/弃真错误）和II类错误（β错误/取伪错误），以及如何在样本容量不变的情况下平衡这两种错误。I类错误是错误地拒绝了正确的原假设，而II类错误是接受了错误的原假设。在不同场景下，如法律审判和疾病检测，需要根据具体情况优先考虑避免一类错误。通过增加样本量可以同时降低两类错误的发生。

在假设检验中，由于样本信息的局限性，所产生的错误。
正态分布概率取值

I类错误（α错误/弃真错误）

原假设H0正确，但检验结论不满足显著性水平要求（P-value < α ），进而拒绝了原假设H0。犯I类错误的概率记为α。
【原因】
进行假设检验时，我们假定小概率事件在一次抽样过程中是不会发生的。但实际上，小概率事件（样本中存在极端数据）仍有发生的可能。因此，当小概率事件发生的可能性增大时，就会出现I类错误。
假设检验中，小概率事件发生的概率之和，我们称之为显著性水平（α）。**因此I类错误发生的概率，就是我们所选择的显著性水平取值。**当显著性水平取值增大，就容易发生I类错误。
例如：根据实验数据求得P-value = 0.06，在常用置信度为95%，即显著性水平 α = 0.05时，P-value > 0.05，接受H0。但当取 α = 0.07时，置信度 1- α = 93%，P-value<0.07，拒绝H0。
根据正态分布概率取值图也可理解为，置信区间缩小，导致原本符合正常情况的数据被刨除在外。

II类错误（β错误/取伪错误）

原假设H0错误，但检验结论满足显著性水平要求，进而接受原假设H0。犯II类错误的概率记为β。
【原因】
II类错误的概率其实也可以理解为对于显著性水平取值的调整。通常情况下，我们以5%作为小概率事件发生的临界值，当我们认为小概率事件发生的概率（β）进一步缩小时，就可能导致置信区间扩大，原本不符合正常情况的数据涵盖在内。
例如：根据实验数据求得P-value = 0.04，在常用置信度为95%，即显著性水平 α = 0.05时，P-value < 0.05，拒绝H0。但当我们假设小概率事件可能性进一步缩小，即 β = 0.03时，置信度 1-