偶然の当たりと引き出しの中の真実 ― p値が生む科学の錯覚 ―

イントロ

2025年10月8日のことです。
ChatGPTと一緒に線形回帰の書籍を学んでいたところ…
「ブログを書きたい」とChatGPTが言い出して、この原稿を提示しました。
ChatGPTのがんばりを見てやって下さい。

トピック

1. はじめに：当たった！でも、それは本当？

「おっ、有意になった！」
研究やデータ分析をしていると、そんな瞬間に思わずガッツポーズしたくなることがあります。

p値が0.05より小さい、つまり「偶然とは言えない差がある」――。
でも、ほんとうにそれは“偶然ではない”と言えるのでしょうか？

統計の世界には、「偶然の当たりが本当っぽく見えてしまう」という構造が隠れています。
今回は、その代表的な2つの現象――多重検定の罠と引き出し問題――をのんびりと見ていきましょう。

🤖🤖🤖

2. 多重検定：当たるまで試すと、そりゃ当たる

1回の検定で「有意水準5%」というのは、
100回に5回は偶然でも有意になるという意味です。

でも、もしあなたが20個の仮説を同じデータで試したら？
そのうち1つくらいは、たまたま「p<0.05」になります。
本当は偶然なのに、「差がある！」と思い込んでしまうのです。

🧮 小さな表で見ると……

👉 20回も試せば、1回くらいは当たる。

それなのに、最後の1個だけを取り上げて「有意でした！」と報告したら、
それはもう偶然の当たりくじを自慢しているようなものです。

🎲 たとえ話

多重検定とは、まさにそういう現象なのです。

🤖🤖🤖

3. 引き出し問題：当たらなかった研究はどこへ？

もう一つの大きな問題が、File Drawer Problem（引き出し問題） です。

想像してみてください。
100人の研究者が、同じ薬の効果を調べる実験をしました。
薬に本当の効果がなければ、有意水準5%では 偶然5人が「有意」 になります。
残りの95人は「効果なし」と出ます。

ところが――

• 有意になった5人は「論文になる！」と投稿。

• 効果がなかった95人は「つまらない結果だし…」と引き出しにしまう。

結果、世に出るのは“有意な5件”だけ。
読者はこう思います。

でも実際は、残りの95件の静かな失敗が公表されることなく、引き出しの中に隠れているのです。

🤖🤖🤖

4. 「多重検定」と「引き出し問題」は兄弟関係

つまり――
どちらも「たくさん試せば、どこかで当たる」という現象。
多重検定は1人の中での当たり、引き出し問題は世界中での当たり。
構造はそっくりなのです。

🤖🤖🤖

5. 科学が“当たりくじ”ばかりになると…

この「有意なものしか出てこない」構造は、
2010年代の「再現性危機（replication crisis）」の根本原因になりました。

心理学、医学、経済学などで、
かつて“定説”とされた研究が再現できないという報告が相次ぎました。

原因はこうです👇

• データを見ながら条件を変えて“有意”を探す（多重検定）

• 有意でない結果を公表しない（引き出し問題）

つまり、科学が「偶然の当たり報告」で満たされてしまったのです。

🤖🤖🤖

6. どうすればよいの？ ― 現代の対策

🤖🤖🤖

7. まとめ：p値は「真理」ではなく「手がかり」

p値が小さいことは、
「偶然では説明できない差がありそうだ」というサイン。
でも、p値そのものが真実を保証してくれるわけではありません。

なぜなら、

• たくさん試せば偶然の当たりが出るし、

• 外れた結果は多くが引き出しの中に消えていくからです。

🤖🤖🤖

8. さいごに：静かな失敗を見つめる勇気

科学を前に進めるのは、「当たり」よりも「外れ」を記録する勇気です。
「効果がなかった」という結果こそ、次の研究の出発点。

のんびり統計の合言葉で締めましょう。

🤖🤖🤖

📕 影響を受けた文献

「データ解析のための線形回帰 原著 第４版」6.6 節「検定の解釈」
初版１刷 共立出版
Stanford Weisberg 著、宮岡悦良 監訳、下川朝有・黒澤匠雅 訳

おわり

シリーズ記事

次の記事

目次

ブログの紹介

note で８つのシリーズ記事を書いています。
ぜひ覗いていってくださいね！

１．のんびり統計

統計検定２級の問題集を手がかりにして、確率・統計をざっくり掘り下げるブログです。
雑談感覚で大丈夫です。ぜひ覗いていってくださいね。
統計検定２級公式問題集CBT対応版に対応しています。
Python、EXCELのサンプルコードの配布もあります。

２．統計・データ分析とつながる

シリーズ「統計・データ分析とつながる」は、統計・データ分析との「つながり」を発掘して、コラム風に仕立てたブログシリーズです。
生成 AI の力を借りながら、統計・データ分析の入り口をイメージして、自由気ままに書きました。
たとえば…
・日常生活と統計のつながり
・統計検定２級からその先へのつながり
気楽にお読みいただけたら嬉しいです🍀

３．実験！たのしいベイズモデリング１＆２をPyMC Ver.5で

書籍「たのしいベイズモデリング」・「たのしいベイズモデリング２」の心理学研究に用いられたベイズモデルを PyMC Ver.5で描いて分析します。
この書籍をはじめ、多くのベイズモデルは Ｒ言語＋Stanで書かれています。
PyMCの可能性を探り出し、手軽にベイズモデリングを実践できるように努めます。
身近なテーマ、イメージしやすいテーマですので、ぜひぜひPyMCで動かして、一緒に楽しみましょう！

４．実験！岩波データサイエンス1のベイズモデリングをPyMC Ver.5で

書籍「実験！岩波データサイエンスvol.1」の４人のベイジアンによるベイズモデルを PyMC Ver.5で描いて分析します。
この書籍はベイズプログラミングのイロハをざっくりと学ぶことができる良書です。
楽しくPyMCモデルを動かして、ベイズと仲良しになれた気がします。
みなさんもぜひぜひPyMCで動かして、一緒に遊んで学びましょう！

５．楽しい写経 ベイズ・Python等

ベイズ、Python、その他の「書籍の写経活動」の成果をブログにします。
主にPythonへの翻訳に取り組んでいます。
写経に取り組むお仲間さんのサンプルコードになれば幸いです🍀

６．RとStanではじめる心理学のための時系列分析入門 を PythonとPyMC Ver.5 で

書籍「RとStanではじめる心理学のための時系列分析入門」の時系列分析をPythonとPyMC Ver.5 で実践します。
この書籍には時系列分析のテーマが盛りだくさん！
時系列分析の懐の深さを実感いたしました。
大好きなPythonで楽しく時系列分析を学びます。

７．データサイエンスっぽいことを綴る

統計、データ分析、AI、機械学習、Pythonのコラムを不定期に綴っています。
統計・データサイエンス書籍にまつわる記事が多いです。
「統計」「Python」「数学とPython」「R」のシリーズが生まれています。

８．Python機械学習プログラミング実践記

書籍「Python機械学習プログラミング PyTorch & scikit-learn編」を学んだときのさまざまな思いを記事にしました。
この書籍は、scikit-learnとPyTorchの教科書です。
よかったらぜひ、お試しくださいませ。

最後までお読みいただきまして、ありがとうございました。