第1種・第2種の誤りと検出力―「誤検出」と「見逃し」をやさしく理解する―

前回は、p値について書きました。

p > 0.05だったからといって、「差がない」と証明されたわけではありません。

では、実際には差があるのに、研究で見つけられないことはあるのでしょうか。

あります。

反対に、本当は差がないのに、偶然のばらつきによって「差がある」と判断してしまうこともあります。

仮説検定には、

差がないのに、あると判断する誤り

と、

差があるのに、見逃す誤り

があります。

今回は、この二つの誤りと、差を見つける確率である「検出力」を、できるだけ数式を使わずに整理します。

火災報知器で考える「誤報」と「見逃し」

火災報知器を考えてみます。

火事が起きていないのにベルが鳴れば、誤報です。

反対に、火事が起きているのにベルが鳴らなければ、見逃しです。

少しの煙でも鳴るようにすると、火事は見つけやすくなります。

しかし、料理の煙や湯気でも鳴る誤報が増えるかもしれません。

たくさんの煙が出るまで鳴らないようにすると、誤報は減ります。

その代わり、小さな火事を見逃しやすくなります。

仮説検定にも、これと似た二つの誤りがあります。

本当は差がないのに「差がある」と判断するのが、第1種の誤りです。

本当は指定した大きさの差があるのに、帰無仮説を棄却できないのが、第2種の誤りです。

そして、その指定した差が本当にあるときに帰無仮説を棄却できる確率を、検出力と呼びます。

火災報知器は理解のための比喩です。

それでも、「誤報を減らすこと」と「見逃しを減らすこと」の両方を考える必要がある点は共通しています。

仮説検定には四つの結果がある

血圧を下げる治療を調べる研究を考えます。

最初に、

本当に知りたい患者さん全体では、治療群と比較群の平均血圧に差がない

という帰無仮説を置きます。

帰無仮説は、比較の出発点として置く仮定です。

「棄却する」とは、今回のデータは「差がない」という仮定とは両立しにくい、と判断することです。

「棄却しない」は、差がないと証明することではありません。

差があると言えるほど強い情報を得られなかった、という判断です。

現実の状態と研究の判断を組み合わせると、四つの結果ができます。

研究で直接観察できるのは、標本のデータだけです。

一つの研究から、患者さん全体での真の状態を完全に確かめることはできません。

αは「差がない」という状態を、βと検出力は「指定した差がある」という状態をそれぞれ仮定し、同じ検定手順を繰り返したときの長期的な割合です。

αは誤検出、βは見逃し、検出力は見つける確率

第1種の誤りは、差がないのに「差がある」と判断する誤検出です。

この確率を、α（アルファ）で表します。

第2種の誤りは、指定した大きさの差が本当にあるのに、帰無仮説を棄却できない見逃しです。

この確率を、β（ベータ）で表します。

指定した差が本当にあるときに帰無仮説を棄却できる確率が、検出力です。

検出力 = 1 − β

血圧研究で考えると、本当の平均差が0 mmHgなのに「差がある」と判断するのが第1種の誤りです。

本当の平均差が−5 mmHgなのに、その差を見つけられないのが第2種の誤りです。

本当の平均差が−5 mmHgのとき、その差を見つけられる確率が検出力です。

このように、βと検出力を考えるには、「本当の差を何mmHgと想定するか」を決める必要があります。

たとえばβが20%なら、検出力は80%です。

βと検出力は、どの大きさの差を見つけたいかによって変わります。

1 mmHgの差より、5 mmHgの差のほうが見つけやすくなります。

したがって、「検出力80%」と書かれていたら、

どの大きさの差に対する80%なのか

を確認します。

100回の研究で考える

αを5%、検出力を80%として、同じ条件の研究を100回行うイメージで考えます。

本当に差がない状況で100回行うと、長期的には約5回で誤って有意になります。

これが第1種の誤りです。

一方、研究で見つけたい大きさの差が本当にある状況で100回行うと、約80回で差を見つけ、約20回で見逃します。

この20回が第2種の誤りで、80回が検出力に対応します。

実際の100回で、必ず5回、20回、80回になるわけではありません。

偶然のばらつきがあるため、回数は上下します。

図は、長期的な割合を理解するためのイメージです。

目の前にある一つの研究は、この100回のうちのどこか1回にあたります。

有意だったとき、それが正しい検出か誤検出かを、p値だけで見分けることはできません。

有意でなかったときも、本当に差が小さいのか、差を見逃したのかを、p値だけで断定することはできません。

そのため、研究結果では効果の大きさと信頼区間も確認します。

α = 0.05は「今回の有意結果が誤りである確率5%」ではない

α = 0.05は、モデルの仮定が満たされ、事前に決めた検定手順を繰り返したとき、差が本当にない状況で誤って帰無仮説を棄却する割合を、約5%以下に抑える設計です。

今回得られた有意な結果が、誤りである確率5%という意味ではありません。

条件の向きが違います。

有意な結果の中には、本当にある差を見つけた結果と、差がないのに誤って有意になった結果の両方が含まれます。

その内訳は、実際に効果のある研究課題がどのくらいあるか、研究の検出力がどのくらいかによって変わります。

したがって、αだけから今回の有意結果が誤りである確率を求めることはできません。

同じように、検出力80%は、治療が効く確率80%という意味ではありません。

今回の研究結果が正しい確率80%という意味でもありません。

また、帰無仮説を棄却できなかった場合の適切な表現は、

「帰無仮説を棄却しなかった」

です。

通常の優越性検定では、「差がないと証明した」とは言えません。

もう一歩だけ：分布で見るα、β、検出力

ここまでで、α、β、検出力の基本的な意味は十分です。

次の図では、同じ関係を確率分布の面積として、もう一歩だけ詳しく見ます。

上の分布は、本当に差がない状況です。

両端の赤い部分が、差がないのに有意になる第1種の誤りです。

下の分布は、平均5 mmHgの差が本当にある状況です。

緑の部分が差を見つける検出力、オレンジの部分が見逃す第2種の誤りです。

αは「差がない状況」で数える確率です。

βと検出力は「指定した差がある状況」で数える確率です。

二つの状況は別なので、αとβを足して1にはなりません。

足して1になるのは、同じ「指定した差がある状況」で考えたβと検出力です。

検出力を左右するもの

検出力を主に左右するのは、次の四つです。

見つけたい差の大きさ

大きな差は見つけやすく、小さな差は見つけにくくなります。

標本サイズ

人数が多いほど、偶然のばらつきに埋もれにくくなります。

データのばらつき

個人差や測定値のばらつきが大きいほど、差は見つけにくくなります。

「有意」と判断する基準（α）

同じ人数なら、「有意」とする基準を厳しくすると誤検出は減りますが、通常は見逃しが増えます。

欠測や脱落

予定した人数を集めても、解析できない人が増えると、研究から得られる情報が減り、見逃しやすくなります。

研究を計画するときは、まず臨床的・科学的に意味のある差を決めます。

その差をどのくらいの確率で見つけたいか考え、必要な人数を決めます。

人数を増やすと、見逃しは減りやすい

独立した二つの群を同じ人数で比べ、各群の標準偏差を10 mmHg、見つけたい平均差を5 mmHg、「有意」と判断する基準をα = 0.05とした単純な計算例を考えます。

各群16人なら、検出力は約29%です。

各群64人なら、約81%です。

各群100人なら、約94%です。

人数が増えると、標本ごとの偶然の違いに結果が左右されにくくなり、平均差の推定が安定します。

そのため、同じ大きさの差を見つけやすくなります。

同じ差があっても、小さな研究では見逃しやすく、人数が増えると見つけやすくなります。

ただし、人数を増やしても、選択バイアス、交絡、測定の偏りは直りません。

標本サイズが大きいことと、研究デザインがよいことは別です。

検出力が高くても、見つかった差が臨床的に重要とは限りません。

p > 0.05なら、まず信頼区間を見る

p > 0.05には、大きく分けて二つの可能性があります。

一つは、本当に臨床的に重要な差がない場合です。

もう一つは、人数が少ない、ばらつきが大きいなどの理由で、重要な差があっても見つけられなかった場合です。

p値だけでは、この二つを区別できません。

信頼区間を見ると、今回のデータと両立する効果の範囲を確認できます。

p > 0.05だった二つの研究を考えます。

平均3 mmHg以上の血圧低下を、臨床的に意味のある効果と事前に決めたとします。

研究Aの平均差は−0.5 mmHg、95%信頼区間は−1.5〜0.5 mmHgでした。

この95%信頼区間は0という「差がない値」を含むため、同じ計算方法に基づく通常の両側5%検定ではp > 0.05です。

一方、臨床的に意味のある−3 mmHg以下の低下は含みません。

計算の前提と研究デザインが妥当なら、平均3 mmHg以上の低下とは両立しにくい結果です。

研究Bの平均差は−1 mmHg、95%信頼区間は−6〜4 mmHgでした。

こちらもp > 0.05ですが、重要な利益も害も区間に含まれています。

この場合は「差がない」ではなく、

情報が足りず、結論が定まらない

と考えます。

p > 0.05だったことだけでは、二つの治療が実質的に同じだと証明できません。

「ほぼ同じ」と示したい場合や、「一定以上は悪くない」と示したい場合には、許容できる差を事前に決めた専用の研究方法を使います。

これが同等性試験や非劣性試験です。

研究後は、検出力より推定値と信頼区間を見る

研究が終わったあと、観察された効果を使って「事後検出力」を計算することがあります。

しかし、この値はp値の言い換えに近く、新しい情報がほとんど増えないことがあります。

研究後にまず見るのは、

効果の推定値

95%信頼区間

実際に解析できた人数と欠測

です。

検出力だけでは研究の質は分からない

検出力が高くても、研究の進め方に偏りがあれば、正しい結論になるとは限りません。

たとえば、比較する二つの群にもともと大きな違いがある、特定の患者さんだけが研究に入りやすい、測定方法が群によって違う、といった問題は、人数を増やしても解決しません。

また、多くのアウトカムや解析方法を試し、その中から有意になった結果だけを選ぶと、誤検出が増えます。

欠測、解析方法の後出し、都合のよい結果だけの報告も、検出力とは別に確認する必要があります。

論文を読むときに確認すること

論文で検出力や標本サイズを見たら、次の五つを確認します。

どの大きさの差を見つける計画だったか

その差は臨床的・科学的に意味があるか

予定した人数と、実際に解析した人数は何人か

効果の推定値と95%信頼区間はどうか

対象者の選び方、欠測、たくさんの解析を試した影響に問題はないか

検出力80%という数字だけで、研究の質を判断しないことが大切です。

まとめ

第1種の誤りは、差がないのに「差がある」と判断する誤検出です。

第2種の誤りは、指定した大きさの差が本当にあるのに、帰無仮説を棄却できないことです。

検出力は、指定した差が本当にあるときに帰無仮説を棄却できる確率です。

検出力 = 1 − β

α = 0.05は、今回の有意結果が誤りである確率5%という意味ではありません。

検出力80%は、治療が効く確率や、研究結果が正しい確率80%という意味ではありません。

p > 0.05を「差がない」と断定せず、効果の推定値と95%信頼区間を確認します。

次回は、

必要な標本サイズはどう決めるのか

について、検出したい差、ばらつき、目標検出力、脱落率を使って整理します。

参考文献

Greenland S, Senn SJ, Rothman KJ, Carlin JB, Poole C, Goodman SN, Altman DG. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology. 2016;31:337–350.
https://pmc.ncbi.nlm.nih.gov/articles/PMC4877414/

Cohen J. A power primer. Psychological Bulletin. 1992;112(1):155–159.
https://doi.org/10.1037/0033-2909.112.1.155

Hoenig JM, Heisey DM. The Abuse of Power: The Pervasive Fallacy of Power Calculations for Data Analysis. The American Statistician. 2001;55(1):19–24.
https://doi.org/10.1198/000313001300339897

NIST/SEMATECH e-Handbook of Statistical Methods. Sample sizes required.
https://www.itl.nist.gov/div898/handbook/prc/section2/prc222.htm

Lakens D. Sample Size Justification. Collabra: Psychology. 2022;8(1):33267.
https://doi.org/10.1525/collabra.33267