有趣的统计——1.10　敏锐识别效应值

你刚读到一条令人震惊的科学新发现，但这真的是一个重大发现吗？通过对效应值的解读，你能判断这类声明（或缺乏这类声明）对你究竟有多重要。 大多数非科学出版物、电视上、电台里，甚至网络上报道的科学发现总是缺少了点什么。虽然这些媒体都很擅长报告“统计显著性”，但这并不足以判断是否存在真正重要的或是有用的发现。一项大规模药物研究可以报告“显著”结果，但仍未发现任何令我们或其他研究者感兴趣的东西。 正如本书中一再指出的那样，显著性[Hack #4]只是意味着，你关于样本的发现在总体中可能为真。问题是，仅有这个事实并不足以让你知道自己是否应当改变行为，开始一种新的饮食方式，改变药物或者重新解读你的世界观。 要想根据任何新的科学报告对生活和现实做决策，你需要知道刚被揭露出的相关性有多大。品牌A比品牌B究竟要好多少？用有意义的话来表达，男孩和女孩的SAT成绩差异到底有多大？每天服用半片阿司匹林用以降低心脏病发作的风险，这么做值得吗？即便的确能降低上述风险，那么究竟能降低多少？ 这种相关性的强度也应该以某种标准化方式来表达，否则就没有办法切实判断它的大小。使用效应值这一统计工具，能让你敏锐识别效应的大小。 1.10.1　效应值无处不在 效应值是一个标准的值，表示两个变量间相关性的强度。在讨论如何辨别或是解读效应值之前，让我们先学习一些关于相关性和统计研究的基础知识。 统计研究总是对变量间的相关性感兴趣。比如相关系数，它是体现两组分数间关系强度和方向的指数[Hack #11]。测量关系的统计方法包括t检验[Hack #17]和方差分析，这是一次性对比多组的一种方法。它们虽然不是很明显，却依然有效。 即使是用来比照不同组的方法，依旧对变量间的关系感兴趣。比如，在t检验中，一个显著性结果意味着一个人在哪个组至关重要。换句话说，在独立变量（定义群组）和因变量（测量结果）间存在关联。 1.10.2　发现或计算效应值 这个Hack关于发现和解读效应值，以便判断大众媒体或科学论著所报告的科学发现的意义。通常情况下效应值会直接报告出来，你只需要知道如何解释它。其他时候，虽没有报告效应值，但提供了足够的信息能让你算出效应值。 效应值的报告方式通常有三种类型。它们的区别在于使用方法的不同以及这些方法量化信息的方式不同。在每种情况下，效应值可被解读为对“变量间关系的大小”的估计。下面分别对三种类型的效应值加以介绍。 相关系数 相关，用小写r来表示，其本身已经是对变量间关系的度量，所以它是一种效应值。因为相关可以是负的，所以，有时候会对r值进行平方得到一个大于0的值。因此，r2被解释为变量共享的“方差比例”。 d 这个值用d来表示，够奇怪的，它归纳了t检验中所使用的两组平均数的差异。其计算是通过两组平均数的差异除以两组平均标准差而得到的。 这儿还有另一种计算d值的方式，简单、超级有趣、相当酷、干净利落： η2 方差分析结果中报告的效应值最常用η2来表示。跟r2类似，它被解释为因变量（结果变量）对独立变量（你所在的组）贡献的“方差比例”。 1.10.3　解读效应值 关于显著性水平，统计学家们已经有了一些判别何为“良好”的指标。比如，大多数统计研究人员希望显著性水平达到0.05或更低。尽管在效应值的问题上，并不总是存在明确的好坏之分，但要分辨效应值是大、中还是小，依然有一些标准可循。 绝大部分情况下，判定大、中和小的标准，应视实际研究中通常发现的效应值而定。如果某个特定效应值大到极少见于已有的研究结果，那它就被视为大。如果效应小且在实际研究中常见，那么它就被视为小。 然而，在解读研究结果时，你应该自己决定，效应值达到多大才能引起你的兴趣。这取决于调查研究的领域。表1-10提供了判别效应值的经验法则。 表1-10：判别效应值的标准 效应值 小 中 大 r +/0.10 +/0.30 +/0.50 r2 0.01 0.09 0.25 d 0.2 0.5 0.8 η2 0.01 0.06 0.14 1.10.4　解读研究发现 在讨论研究结果时，关注效应值的好处在于：能让每个人都大致了解，给定的研究变量（或干预、药物、教学技术等）对现实的实际影响有多大。因为报告效应值的时候，通常不会报告概率信息（显著性水平），所以搭配了显著性水平报告的效应值是非常有用的。这样，你可以回答两个问题。 这种相关可能存在于总体中吗？ 这种相关有多大？ 还记得前面的例子吗？你应该每天服用半片阿司匹林以降低心脏病发作的风险吗？20世纪80年代末有一项广为人知的研究，发现了这两个变量在统计学上的显著相关。当然，在做任何类似的决定前，你应该先和你的医生谈谈，但你同样应该获取尽可能多的信息来帮你做出决定。现在让我们借助效应值信息来解读此类发现。 以下是媒体的报道： 22 071名内科医生组成的样本被随机分为两组。很长一段时间内，半数医生每天服用阿司匹林，同时另外半数服用外观和味道与阿司匹林相似的安慰剂。实验期结束时（实际上较早就结束了，因为大家认为阿司匹林的药效实在很强），服用阿司匹林的医生患心脏病的几率为服用安慰剂组医生的一半。服用安慰剂组，有1.71%的人有心脏病发作，而阿司匹林组医生的发病比例仅有大约1%（0.94%）。这一发现在统计学上具有显著性。 对上述发现的“清楚”解释是，服用阿司匹林可以使心脏病发作的几率减半。假设这个研究具有代表性，而且参与其中的医生们和你我极其相似，那么这个解释可谓相当正确。 对于该发现的另一种解读方式，是看阿司匹林服用的效应值。通过比例比较公式得到，该研究的效应值为0.06个标准差，即d为0.06。根据表1-10中的效应值判别标准，该效应值应该解读为小，真的非常小。这样的解读表明在服用阿司匹林和心脏病发作之间的确存在一个非常小的相关。相关性确实存在，只是不太强。 这个问题还可以这样看：首先，在一段给定期间内，心脏病发作的几率相当小。研究中98.76%的人没有心脏病发作，不管他们是否服用阿司匹林。虽然服用阿司匹林的确会降低心脏病发作的几率，但这个下降只是从微小到更小一点而已。一个类似的情形是：和没有购买彩票的人相比，如果你大量购买彩票，中奖几率会进一步提升，但这个几率依然很小。 1.10.5　生效原理 一个研究人员可能取得显著性结果，但仍然没有发现任何令人激动的东西。这是因为显著性只能告诉你样本结果很可能不是偶然发生的。这结果是真实的，也可能存在于总体中。如果你在两个变量间或是用药和治疗结果间找到细微的相关，那么这种相关可能由于太小以至于没人对其真正感兴趣。药效或许是真的，但很弱，所以不值得推荐给病人。A和B的相关可能大于0，但它的值还是太小，对理解两个变量中的任何一个都没有太大的帮助。 现代研究人员依然热衷于寻找自己的发现中是否存在统计显著性，但他们应该几乎总是报告并讨论效应值。如果报告了效应值，你就能够解读它。如果没有报告效应值，你也总是能从公诸于众的研究报告中挖掘所需信息，自己计算出效应值。其中的绝妙之处在于，你也许比报告这些发现的媒体，甚至比搞这项研究的科学家自己，更懂得该发现的重要性。