檢定力

它在說什麼

檢定力是：如果效果真的存在（而且大小是某個指定的值），這個研究把它抓出來的機率。它同時取決於三件事——效果多大、樣本多大、門檻多嚴。

檢定力是事前規劃的量，不是事後辯護的話術。研究做完才回頭算「觀察到的檢定力」，只是把 p 值換個寫法。

一個具體例子

Cohen 在 1962 年把《變態與社會心理學期刊》1960 年整整一卷的 78 篇文章拿出來算：其中 70 篇有主要檢定。要抓一個中等大小的效果，這些研究的平均檢定力是 .48——比丟銅板還差一點。抓小效果只有 .18。

換句話說：即使那些假說全部是對的，也有一半的研究注定做不出顯著結果。這件事 1962 年就算清楚了，六十年後複製危機爆發，它才被重新讀懂。

為什麼它要緊

低檢定力不只是「比較容易漏抓」。在一個檢定力普遍偏低的領域裡，能被做出來的顯著結果會系統性地偏向高估效果——因為只有運氣特別好、雜訊剛好幫忙的那些樣本才過得了門檻。這條線直接接到陽性預測值：Ioannidis 2005 的論證，一半的力氣就花在低檢定力上。