效果量

它在說什麼

效果量量的是「差多少」，而且用的尺度不隨樣本數伸縮。最常見的一把尺是 Cohen 的 $d$：兩組平均數的差，除以共同的標準差。

$d = \frac{\bar{x}_1 - \bar{x}_2}{s}$

p 值會隨樣本數變小，效果量不會。這就是為什麼一篇論文只報 p 值、不報效果量，等於只告訴你「這個差距不太可能是巧合」，卻不告訴你「這個差距值不值得在意」。

一個具體例子

Cohen 把 $d = .2$、$.5$、$.8$ 分別叫作小、中、大，而且每一個都掛了真實的對照物：小效果約當雙胞胎與非雙胞胎的平均智商差距；中效果約當 14 歲與 18 歲女孩的平均身高差距——「大到肉眼看得出來」；大效果約當博士學位持有者與大一新生的平均智商差距。

同一節裡，Cohen 自己說這組對應是任意的。這句自白值得記住：小中大是溝通用的粗刻度，不是自然界的分界線。

常見誤讀

「$p$ 很小所以效果很大」是最貴的一條。1988 年的阿斯匹靈試驗：22,071 位醫師，服藥組 104 人心肌梗塞，安慰劑組 189 人，$p < 0.00001$——效果量換算成相關係數卻只有 0.03 左右。用同一批數字算出來的兩個數，一個看起來像鐵證，一個小到幾乎看不見。（順帶一提，這個小效果救了很多人命——效果小不等於不重要，要看代價與規模。）