您还没有绑定微信,更多功能请点击绑定

等价检验 VS 显著性检验

传统显著性检验用于推断样本所代表的总体均值是否相等,它的检验假设为样本来自同一总体(即总体均值相等)。在应用中,显著性检验结果不能评价差别的大小,也不能说明差别是否有实际意义,所谓差别显著是指在统计学理论上认为样本来自不同的总体。另外显著性检验在均值差异性比较中也存在一定的局限性,下面我们以双样本t检验为例来说明。

显著性检验的局限性

我们看到下表1中两种测试方法得到的数据,希望比较两种测试方法得到的结果是否一致(等效)。

图片1.png


可能首先想到的方法就是用双样本t检验,我们来试试看(前提条件验证略)。

图片2.png


图片3.png


图片4.png


双样本t检验的结果显示,P=0.001<0.05,所以我们得到的结论是:两种测试方法的结果是有显著性差异的。拒绝是有说服力的,所以我们也不用担心犯第二类错误。

现在我们再来看看下表2中两种测试方法的数据,也想来比较有没有显著性差异。

图片5.png


同理,我们也来执行双样本t检验(前提条件验证略),得到如下结果。

图片6.png


双样本t检验的结果显示,P=0.081>0.05,所以我们得到的结论是:两种测试方法的结果无显著性差异的,即不拒绝原假设。不拒绝是没有说服力的,可能是样本量不够导致的(建议做功效与样本量的计算)。

基于以上分析,总结如下:

图片7.png


但是,如果你仔细去看一看表1和表2中的数据,有没有发现表1中两种测试方法结果差异比较小(但双样本t检验结果P=0.001<0.05),表2中两种测试方法结果差异比较大(但双样本t检验结果P=0.081>0.05),注意,这不是错觉,这是t检验本身存在的局限性。

为什么这么说,我们以表2中数据(两总体标准差未知但相等)为例来看看t检验的基本原理。

图片8.png


图片9.png


T=2.32小于拒绝域临界值2.776,及检验统计量T落在非拒绝域(白色区域),故不拒绝原假设。换句话说,如果想拒绝原假设(得到两种测试方法有显著差异的结论),就需要检验统计量T值(绝对值)足够大,大到超过2.776,那么怎么做才能实现呢?通过后台公式我们能发现只需要:样本量足够大且/或合并标准差SP足够小。

图片10.png


其实这是一个有悖逻辑的发现,因为如果真的如此的话,那我以后直接选择摆烂不就可以吗(样本量少抽一点,测量变异搞大点,这样越不容易得到有显著差异)。

图片11.png


等价检验

从功能和实用意义上来讲,产品之间存在微小差异并不总是十分重要。例如,在200 mg的药物剂量中,相差1mg不会产生任何实际效应,那如果我想证明药物剂量不同对疗效是相同的或相近的,又该如何去验证呢?可不可以用显著性检验的方法(如t检验)?

显著性检验确定备择假设的方法是“想证明什么结论就把它放在备择假设上”,那能否把相等的结论放在备择假设上,如H0:μ≠μ0, H1: μ=μ0很遗憾,统计学中不可能处理这种“原假设是某个范围,而备择假设只是一个单点”的情况,只能处理备择假设为

H1:|μ-μ0|<△

H1: μ1<μ<μ2

其中μ1=μ0-△,μ2=μ0+△

这类检验问题称为等价检验(equivalence test)问题,也称等效性检验问题。其中(μ1,μ2)称为等价区间。它的原假设和备择假设为:

H0:μ<μ1或μ>μ2 H1:μ1≤μ≤μ2

等价检验实际上是双单侧假设检验(TOST),当左右两边的原假设同时被拒绝时才能认为原假设不成立。

图片12.png


等价检验 VS 显著性检验

图片13.png


等价检验与显著性检验比较如上图,下面我们通过一个具体案例来说明一下(案例来自于蓝皮书第三版P161)。

示例:在焊接电路板的过程中,焊锡膏的涂抹厚度是关键的控制量之一。工艺标准要求涂抹厚度的均值是60微米,均值偏差在5微米内。现在收集了25个焊点上的焊锡膏涂抹厚度。我们希望验证,涂抹厚度均值是60微米吗?涂抹厚度均值是落在(55,65)之内吗?

图片14.png


我们先来看看如果是用显著性检验(单样本t检验)会得到什么结果。

图片15.png


图片16.png


图片17.png


由于P值为0.111,因此无法拒绝原假设,也就是说没有充分的理由否认焊锡膏涂抹厚度均值为60。但“不否认”还不是明确的说明“均值就是60微米”的有说服力的结论。如果需要进一步确定“均值就是60微米”,或者更进一步判断其均值是否落入(55,65),则只能使用单样本等价检验方法(注意:即使是等价检验对于备择假设只是一个单点也是无能为力的)。

图片18.png


图片19.png


图片20.png


图片21.png


图片22.png


正如Minitab告诉你的,不能认为是等价的,即焊锡膏涂抹厚度均值可以认为是60微米,但未落在(55,65)之内,即精确度未达到误差小于5微米的水平。

那如果允许误差放大些,比如说(50,70),结果就可以认为是等价的了。

图片23.png


请注意,我在这里不得不说明一下,千万不要说为了得到等价的结论而去改等价区间,我在这里修改只是为了说明问题,我们在实际工作一定是要事先指定好等价区间范围(防止扯皮)。

小结

要在等价检验和标准t检验之间进行选择,请考虑您希望证明或说明的内容。如果您希望证明两个均值相等或者证明均值等于目标值,而且您可以确切地定义在所属领域中属于重要差值的差值大小,则您可能希望使用等价检验,而不是标准t检验。

0 个评论

游客无法查看评论和回复, 请先登录注册