怎麼證明「沒有差別」
一個檢定跑出 p = 0.56,你不能因此說兩者相同——不顯著可能只是這個研究沒力氣把差異看清楚。本文用學名藥的生體相等性當例子,說明檢定力(研究看得見多大的效果)與等價檢定(TOST:把效果正面關進一個事先訂好的邊界),以及為什麼「不顯著」要拆成「能排除任何重要差異」與「只是測不到」兩種。
本頁目次
一款降血壓的學名藥要上市,得先證明它和原廠藥「一樣」。廠商做了臨床試驗:兩組病人,一組吃原廠藥、一組吃學名藥,比較收縮壓平均降了多少。兩組差 0.6 mmHg,跑一個 t 檢定,。不顯著。
於是廠商說:沒有顯著差異,兩種藥一樣。
這句話錯了,而且錯的方式正是第一篇文章講過的:虛無假設從來不會因為你「沒能推翻它」就算成立。 只說明這批資料沒能推翻「兩者相同」;它同樣沒能推翻「兩者差 2 mmHg」。一個不顯著的結果,可能是因為真的沒差,也可能只是這個研究沒力氣把差異看清楚。這兩種處境長得一模一樣, 值分不開它們。
那要怎麼辦?如果你真心想主張「兩者沒有實務上重要的差別」,得換一種問法。這篇講兩件事:先看這個研究「看得見」多大的差異(檢定力),再看怎麼把效果正面關進一個邊界(等價檢定)。
一個不顯著的結果,相容於多少種真相
先把那個 攤開。它背後是一個估計值和它的不確定性:兩組差 0.6 mmHg,95% 信賴區間從 -1.4 到 +2.6 mmHg。
假設兩者真的差 2.0 mmHg——這批資料和它相容。
點估計 0.6 mmHg,95% 信賴區間 [-1.43, 2.63]。 雙尾 p = 0.56
這個區間包含 0,所以檢定不顯著——這是「沒測到差異」的另一種說法。但它也包含 +2 mmHg,也包含 -1 mmHg。拖動滑桿,你會看到:這批資料和「學名藥其實好 2 mmHg」相容得跟「兩者完全相同」一樣好。不顯著不能讀成「沒有效果」——它只說「0」落在區間裡,沒說「0」比區間裡其他值更可信。
區間有多寬,取決於這個研究收了多少人。人越多,區間越窄,看得越清楚。這件事有個名字。
這個研究看得見多大的效果
檢定力問的是:如果真的有一個某某大小的效果,這個研究把它測到顯著的機率有多高。反過來,一個研究能可靠偵測到的最小效果,叫最小可偵測效果。以每組 120 人、資料標準差 8 mmHg 的這個試驗算,只有當真實差異大過約 2.9 mmHg 時,才有八成把握測到顯著;小於這個數的差異,這個設計本來就看不清楚。
於是「不顯著」拆成兩種完全不同的處境。一種是:這個研究夠有力,能看清任何重要的差異,而它確實沒看到——這時你有資格說「沒有重要差別」。另一種是:這個研究根本沒力氣,就算真有差異也看不到——這時你只能說「我不知道」。要正面說出第一種,需要一個專門的工具。
等價檢定:把效果關進邊界
1987 年,Schuirmann 為了學名藥的審查提出一個做法:與其問「有沒有差」,先講清楚「差多少才算重要」,再問「效果能不能被關進這個範圍」。
先訂一個邊界 。血壓的例子裡,臨床上早有共識:兩種藥差不到某個幅度,對病人沒有實際差別。這個 是醫學判斷,必須在看資料之前就定好。
然後做兩個單尾檢定(two one-sided tests,簡稱 TOST):一個檢「差異有沒有大過上界 」,一個檢「差異有沒有小於下界 」。兩個都被拒絕,就等於說:效果既沒超過 、也沒低於 ,它被關在 裡了。這時你可以正面宣告等價。
有一個更好看的等價說法。在 下用 TOST 宣告等價,等於檢查 90% 信賴區間有沒有整個落在 之內(是 90%,不是 95%:兩個各 5% 的單尾檢定,合起來對應 90% 的雙邊區間)。
邊界 = 3.0 mmHg:90% 區間整個落在邊界內——宣告等價。
兩個單尾檢定 p1 = 2.9e-4、p2 = 0.010,TOST 的 p = max = 0.010 < 0.05 → 等價
能宣告等價的最小邊界是 2.31 mmHg(區間的半寬)。
拖動邊界 :當 90% 區間整個縮進 ,兩個單尾 值都小於 0.05,等價成立。把 拖到比區間半寬還小,就宣告不了——你要求的「相同」比這個研究能保證的還嚴。
兩種不顯著,結論不一樣
回到那個 。它的 90% 信賴區間是 -1.1 到 +2.3 mmHg。
如果臨床上同意「差 3 mmHg 以內不算差別」(),區間整個落在 之內,兩個單尾檢定都通過——你可以正面說:這兩種藥在臨床上等價。這個「不顯著」屬於第一種:研究夠力,也確實沒看到重要差異。
如果臨床標準嚴一點,要求「差 2 mmHg 以內才算相同」(),區間的上緣 +2.3 就探出去了。同一批資料,這次宣告不了等價:這個研究的精度不足以保證差異小到 2 mmHg 以內。這個「不顯著」屬於第二種——測不到,不代表不存在。
真正的紀律在這裡: 要在看資料之前定,不能等看到區間落在哪、再回頭挑一個剛好包得住的 。那是先射箭再畫靶,和第一篇講的 p-hacking 是同一個病。
它為什麼重要,又有什麼限制
學名藥審查是等價檢定最制度化的地方。美國 FDA 的標準是:學名藥和原廠藥血中濃度曲線的幾何平均比值,其 90% 信賴區間必須整個落在 80% 到 125% 之間,才算相等。這正是上面那套邏輯:不准靠「沒測到差異」放行,必須把差異正面關進一個事先訂好的範圍。
限制有三個,都很具體。第一, 是價值判斷,不是統計量——多大的差異才算「不重要」,得由這個領域的知識決定,統計代勞不了。第二, 必須事先定。第三,樣本太小時兩頭都會落空:你既拒絕不了「有差異」,也宣告不了「等價」,只能承認這個研究什麼都沒定論。這種時候老實說「不知道」,比硬選一邊誠實。
第一篇文章最後留了一句話:虛無真的成立時,用等價檢定正面說出「差距小到不重要」,別再含糊地講「沒有顯著差異」。這篇是那句話的展開。「沒測到差異」是一句關於這個研究的話;「差異小到不重要」才是一句關於這兩種藥的話。把前者說成後者,是統計裡最常見的一次偷換。