p 值

它在說什麼

p 值回答一個很窄的問題：假設虛無假設為真，我看到「像這樣或更極端」的資料的機率有多大。它是一個條件機率，條件在「虛無為真」這一側。

它不回答「虛無為真的機率」。這兩者的方向相反，而且相反得很徹底：從「如果她在猜，全對的機率是 1.4%」推不出「她在猜的機率是 1.4%」。

一個具體例子

八杯茶裡挑出四杯先倒奶的，一共有 70 種挑法。純靠猜，四杯全對只有 1 種挑法，所以

$p = \frac{1}{70} \approx 0.014$

這個 0.014 就是 p 值。要算它，你得先把「純靠猜會發生什麼」的完整分佈列出來——那就是抽樣分佈。

常見誤讀

Greenland 等人在 2016 年整理了二十五條誤讀，最頑固的三條是：p 值是虛無為真的機率（不是）；p = 0.05 表示這個結果只有 5% 的機會是僥倖（不是）；p 大代表虛無成立（不是，只代表沒推翻）。

p 的大小也不等於效果的大小。22,071 位醫師的阿斯匹靈試驗，$p < 0.00001$，而效果量換算成相關係數約 0.03。樣本夠大，任何微小的差距都會把 p 壓到很小。