読む統計#1 「有意差」で論文を読み解くのをやめる ― P値と95%信頼区間
「読む統計」は、臨床医・医学研究者のための、医療統計とデータサイエンスの連載。統計を「計算」する技術ではなく、「読み解く」力を鍛える。今回の#1では、最も身近で、最も雑に読まれている二つの数字――P値と95%信頼区間を読み解く。
読了の目安：約6分／予備知識：不要
机の上の、二つの論文
二つの論文が、あなたの机の上にある。
ひとつには「有意差あり（P＜0.001）」と大きく書かれている。
もうひとつには「有意差なし（P＝0.10）、ネガティブ試験」とまとめられている。
どちらの治療を信じるべきか。
多くの人は、ためらわず前者を選ぶ。
だが、その判断はおそらく間違っている。
P値の大小は、治療の良し悪しの順位ではないからだ。
なぜそう言えるのか。まず、P値が本当は何を意味しているのかから始めよう。
要点
P値は「効果がない確率」でも「結果が偶然である確率」でもない。帰無仮説が正しいと仮定したとき、観察された以上に極端なデータが得られる確率にすぎない。
「有意差あり／なし」の2値評価は、判断の情報のほとんどを捨てている。P＝0.049とP＝0.051はほとんど同じ証拠であり、0.05という境界に臨床的に特別な意味はない。
効果として読むべきは信頼区間である。区間が帰無仮説の値と「臨床的に意味のある値」のどこまでどう広がっているか――そこに、その研究が何を言えたか、言えないのかが表れる。
1. P値とは何で、何ではないか
P値とは、「帰無仮説が正しいと仮定したときに、いま観察されたのと同じか、それ以上に極端なデータが得られる確率」である。ここで帰無仮説としてよく用いられるのは『治療に効果はない』である
定義はこれだけだ。そして、ここから三つの「よくある読み違い」が生まれる。
1つ目。P値は「効果がない確率」ではない。P＝0.10は「効果がない確率が10%」という意味ではない。P値は、はじめから「効果はない」と仮定したうえで計算された数字であって、その仮定自体の正しさを測ってはいない。 2つ目。P値は「結果が偶然である確率」ではない。これも同じ誤りの言い換えにすぎない。 3つ目。1からP値を引いた数は、「治療が効く確率」ではない。P＝0.04だから96%の確率で治療効果が本物、という読み方は成立せず、間違っている。
P値が答えているのは、ただひとつである。「もし効果がなかったとして、これくらいのデータは珍しいか、ありふれているか」。それだけである。
だから、P値が大きい（有意でない）ことは、「効果がないことが示された」のではなく、「効果がないという仮定のもとでも、このデータは別に珍しくなかった」というだけだ。
冒頭の「ネガティブ試験」が、なぜ「効果がない証明」にならないのか。理由はここにある。
2. 「有意差あり／なし」が見落とすもの
次の問題は、0.05という線そのものにある。
P＝0.049なら「有意」、P＝0.051なら「非有意」。私たちはこの二つを、まるで白と黒のように扱う。だが、治療効果の差のエビデンスとしての両者の差は、ほとんど無きに等しい。0.05という値は、統計学の歴史上の慣習であって、自然界に存在する真実を分ける境界線ではない。
2値評価の弊害は、専門家自身がもう何度も警告している。2016年には米国統計協会が、2019年にはNature誌上で数百名の研究者が、「有意差という2値評価に頼るのをやめよ」と公に求めた。統計の中心にいる人々こそ、統計のいちばん有名な道具の使い方に、はっきり「待った」をかけているのである。
さらに厄介なのは、その逆だ。「有意差あり」もまた、それだけでは何も保証しない。
サンプルサイズを大きくすれば、どんなに小さな差でも、いつかは「有意」になる。数万例を集めれば、臨床的にまったく無意味な差にも、星印（アスタリスク）はつく。
つまり「有意差あり」は「効果が大きい」を意味せず、「有意差なし」は「効果がない」をそのままでは意味しない。 私たちは、ほとんど何も語っていない一行のみの結果に、判断を預けてしまっている。
3. だから、信頼区間を読む
ではどこを見るのかというと、95%信頼区間である。
信頼区間は、データと両立する効果の「ありうる範囲」を示す。P値が「有意か否か」という一点の判定しか返さないのに対し、信頼区間は二つのことを同時に教えてくれる。
効果の大きさ（区間がどのあたりにあるか）と、その不確かさ（区間がどれだけ広いか）。
区間が狭ければ、その研究は多くを語っている。区間が広ければ、たとえ結論が出ていても、実はあまり情報がない。「有意ではなかった」研究のほとんどは、効果を否定したのではなく、区間が広すぎて何も言い切れなかっただけなのだ。
そして信頼区間の本当の読み方は、帰無仮説の値（一般に差がないことを表す値。比なら1、差なら0）をまたいでいるかどうかを見ることではない。それは「有意か否か」を遠回しに確認しているだけで、P値を見るのと変わらない。
読むべきは、一本の線で表現された信頼区間の幅にある。
4. 帰無仮説の値ではなく、臨床的に重要な値と照らす
区間を、「臨床的に意味のある効果の大きさ」と照らし合わせる。これが核心だ。
二つの例で見てみよう。いずれも架空の数字である。
1つ目の例は、ある試験で、群間差として
ハザード比0.88、95%信頼区間0.75〜1.03、P＝0.10
机の上では「有意差なし、ネガティブ」で片付けられるような論文だ。 だが区間を読むと、データは「25%のリスク減」から「3%のリスク増」までと両立している。これは「効果がない」ことを示したのではない。。
25%のリスク減という、臨床的に十分大きな効果すら、まだ否定できていないのだ。正しい読みは「効果なし」ではなく「結論が出ていない」である。
2つ目の例として、別の試験で、
ハザード比0.98、95%信頼区間0.97〜0.99、P＜0.001
統計的には文句なしに有意だ。だが効果の大きさは、相対リスクでわずか2%。区間の端から端まで、臨床的にはほとんど無視できる範囲に収まっている。「有意」という言葉だけを見て臨床的に重要だと結論するのは、1つ目の例とは逆向きの、しかし理由を同じくする誤読である。
机の上の二つの論文に戻ろう。「P＜0.001」のほうは、2つ目の例のような「有意だが些細」かもしれない。「P＝0.10」のほうは、1つ目の例のような「結論未満だが、大きな効果の可能性が残っている」かもしれない。P値の大小だけでは、どちらが正しいのか、区間を読むまでは、原理的に分からない。
今日の持ち帰り
アスタリスク（有意か非有意か）を読むのをやめる。
信頼区間を、帰無仮説の値と、臨床的に意味のある値の両方に照らして読む。
「有意ではない」は「効果がない」ではなく、「まだ結論が出ていない」であることも多い。
次回の#2は、その「有意」がもっと巧妙な形で立ち現れる場面を扱う。いくつもの解析を重ねるうちに、偶然の有意がほとんど必然的に生じてしまう、多重性の問題と、サブグループ解析の落とし穴である。