[心得交流] 假设检验理论的缺失

假设检验是统计中的一个重要部分，在统计显著性的确定方面应用的非常广泛，如DOE中检定因子效应的显著性，相关性检定中确定相关系数的显著性。但无论如何，这些应用都可以归结为比较检定。
尽管我们已经使用了它很多年，看似严谨的逻辑实际上却是有着难以化解的矛盾，下面我们就来分析（因为不知道如何贴图，可能讲起来比较难以理解）。
我们知道，假设检验的假设通常有以下三种：
1.H0:等于&H1：不等于（双边）
2.H0:大于等于&H1：小于（单边）
3.H0:小于等于&H1：大于（单边）
尽管，Minitab在呈现这些假设时，无论是单边的还是双边的情况，它都称H0为等于。实际上，在单边的时候，H0并仅仅是等于，可能为大于等于或小于等于。这一点需要注意。另外，一些外国的概率统计书上也喜欢这种表达方法。
我们知道，假设检验的原理是通过构建一个与Minimum Difference具有正相关的统计量（这里的正相关并不是统计中的相关性分析中的概念，而是指它们之间具有同大同小的关系），然后根据由事件计算出的统计量决定的概率，即P-value，与我们事先假定的I类风险进行比较来决定结论的取舍。在这里，我们还需要注意的一点是，并不是任意情况都是与α进行比较。在进行单边检定时，P-value是与I类风险（α风险）进行比较，小于则拒绝H0；在进行双边检定时，P-value是与0.5倍的α进行比较，小于则拒绝H0。不过，这一点我们就不用担心了，因为Minitab已经事先做了转化，它将单边时计算出的P值乘以了2得到了P-value。所以，我们在使用Minitab时，无论何种情况都是可以直接与α进行比较的，而不需要再作转化。
下面谈到的就是关于假设检验中的理论缺陷了。我在其他的日志和帖子中，曾经提到过二次假设的概念，也就是说，当我们需要确切地知道参与比较的双方到底是大于、等于或小于的关系时，若采用第一次假设无法得到确切的结果，还需要进行第二次的假设。举例来说，我们想知道投支持票的比例与50%的关系，究竟是大于50%还是小于50%，抑或等于50%呢？我们可以先设定H0：等于&H1不等于。若P-value大于50%则没有足够证据拒绝H0，反之我们拒绝H0，即认为比例并不等于50%。但这样还不够，因为我们还不知道究竟是大于还是小于，所以还需要进行二次假设。当然，你的第一次假设可以任意定，如果幸运的话可以第一次假设就确定两者之间的关系。问题也就出在这里，我们分两种情况讨论(为叙述方便，我们只讨论边缘地带）：
1.H0:等于&H1:不等于
在α风险下，亦即两边各1/2倍α的拒绝区间下，若事件落在两端的α区域内，则拒绝H0，意即认为存在统计差异性。但究竟孰大孰小还需要进行二次假设。假定二次假设为H0:大于等于&H1:小于，这时存在两种问题。问题一是，我们究竟该用1/2倍α作为拒绝风险，还是该用α作为拒绝风险？如果用前者，两次假设是一致的，但我们最终得到结论的置信区间就已经不是1-α了，而是1-1/2α。如果我们选择的是后者，则两次判断的依据位移了1/2α，也就是说会存在1/2α的边际区间，或者说是模糊地带。庆幸的是，这部分边际空间尚不至于增加误判风险。
2.H0:大于等于&H1:小于
在α风险下，亦即左边为α的拒绝区间下，若事件落在右边区域内，则无法拒绝H0，意即认为大于等于的。但究竟是大于还是等于还需要进行二次假设。假定二次假设为H0:小于等于&H1:大于，这时存在两种问题。问题一是，我们如果用α作为拒绝风险，最终得到结论的置信区间就已经不是1-α了，而是1-2α。我们再次假设事件是落在右边1/2α与α之间的，根据二次假设可知得到的结论应该是大于。如果我们使用的二次假设不是H0:小于等于&H1:大于，而是H0:等于&H1:不等于，我们采用的拒绝风险应该是多少呢？如果是2倍的α，则判断基准和一次假设是一致的，但置信区间却已经是1-2α了。如果是α，对于事件落在右边1/2α与α之间的情况，最终的结论已经是等于了。
从以上可以看出，不同顺序的假设得到的结论也会有差异，这就让我们不知道该何去何从了。更为可怕的还不是这些，而是假设检验理论给我们传达了一个错误的观点。
我们知道，置信区间的概念只是从分布的观点说明了difference出现的概率情况，意即在α风险下，difference有1-α的机会会落在相应的区间上，但这却不能说明我们有1-α的信心相信他们之间有无差异。正确的做法应该是给出衡量difference有差的判定基准。