【知新察来】本当の人間のデータは、まだそこにあるのか───社会科学における調査汚染とシリコン・サンプルの問題
◆今回のピックアップ記事◆
David Adam, "Will AI ruin the social sciences — or revolutionize them?" (Nature, 2026年6月2日)
概要：LLMによる調査データ・論文生産の汚染リスクと、分析の頑健性を高める可能性の両方を扱った論考記事。
社会科学のアンケートに、こんな回答が返ってきたらどうするか。「私は人間のようには混乱を経験しない」。心理学者が受け取ったこの一文は、明らかに人間の声ではありません。でも、これがどれくらいの規模で起きているかを知ると、ちょっと空恐ろしい気持ちになるかもしれません。
Natureが報じたこの問題を、富良野とPhronaが読みながら話しています。調査回答にAIが紛れ込む話から始まって、気づけば「社会科学は実験できるのか」という、もっと大きな話にたどり着きました。危険に見える技術の中に、実はまったく違う使い道が隠れているかもしれない、という視点も含めて。
混乱を経験しない人
富良野：心理学のアンケートで、「私は人間のようには混乱を経験しない」って回答が返ってきた。なんかほとんど笑い話みたいですよね、これ。
Phrona： それ、本人は気づいてないパターンですよね。うっかりAIに書かせて、そのまま貼り付けちゃった。
富良野： ですね。ベルリンのマックス・プランク研究所の人たちが調べたら、こういうアンケート回答の最大45パーセントがLLMのコピペになってる可能性があるって見積もってて。
Phrona： 半分近く。それは、もう調査として成立してないんじゃないかって数字ですね。
富良野： しかも段階があるらしくて。文章を整えるだけの人もいれば、登録から回答提出まで全部機械にやらせてる人もいるだろうって。
Phrona： 後者は、もう回答者がそこにいない。
富良野： そう。人間の考えを聞いてるつもりで、実は誰もそこにいなかった、という状態です。
Phrona： 心理学だけの話じゃないんですよね、これ。
富良野： 政治学も経済学も世論調査も、同じ悲鳴を上げてるって書いてありました。Northeasternのデイヴィッド・レイザーって政治学者が、分析の段階でも危ないって言ってて。AIを使えば、もっともらしい論文を一瞬で量産できてしまうから。
Phrona： 調査で汚れて、分析でも量産される。両方から挟み撃ちされてる感じ。
富良野： そういう構図です。で、面白いのが、社会科学って特にこの影響を強く受けるらしいんですよ。理由が二つあって。
Phrona： 聞かせてください。
富良野： 一つは、人間の回答に依存してること。もう一つは、大きなデータセットを別の目的から流用して分析することが多いこと。センサスとか、大規模調査とか。
Phrona： 流用ってことは、後から何にでも当てはめられちゃう。
富良野： そうなんです。実験データみたいに一回きりの使い道じゃなくて、何度でも切り口を変えて分析できる。だから、ノイズの中から都合のいいパターンを拾い上げやすい。
ポイント解説
社会科学がAIの影響を特に強く受けやすいというレイザーの指摘は、単なる「データが多い」という話ではない。
問題は、社会科学が扱うデータの性質にある。実験科学であれば、仮説を立て、条件を統制し、狭い範囲で検証する。データは一つの問いのために集められ、使い終われば役目を終える。だが社会科学、とりわけ政治学や経済学の一部は、センサスや大規模世論調査のように、もともと別の目的で集められたデータを繰り返し掘り返す（元は行政目的や商業目的で集められたものが、後から研究対象として再利用されることも珍しくない）。この構造では、統計的に多くの仮説と分析手法を試すことができてしまい、偶然のパターンを「発見」として取り出す危険が、実験データより高くなる。
つまりAIは、この既存の脆さを増幅する道具として機能する。論文執筆を数時間から数十分に短縮できるという生産性の向上が、そのまま脆弱な発見をジャーナルに大量流入させるリスクへと反転する。この反転構造自体が、記事後半で扱われる「Paradox of productivity」の核心である。
一時間で書ける論文
富良野： レイザーがデモをやってるんですよ、記事の中で。CHIP50っていう、アメリカで100万人くらい調査してる大規模データを使って、GLP-1薬の利用者についての観察をAIに一時間で28ページの論文にまとめさせた。
Phrona： 一時間で28ページ。文献レビューも表もグラフも込みで。
富良野： そうです。しかも中身自体は嘘じゃないかもしれない。ちゃんとした発見の可能性もある。
Phrona： でも、それが本当に問題なんじゃなくて。
富良野： ええ。レイザー自身が言ってるのが、「自分は小脳の一部を、創造的な能力の本質的な部分をAIに外注してるんじゃないか」って。それが感情的にきついって。
Phrona： その言葉、刺さりますね。できることと、していいことの境界を、本人がまだ引けてないっていう告白だから。
富良野： 実際、彼はこのやり方で書いた原稿を投稿してないらしいんですよ。できることと、すべきことのあいだで、まだ悩んでる最中だって。
Phrona： ジャーナル側の数字も出てましたよね。Organization Scienceで、ChatGPT公開後に投稿数が42パーセント増えて。
富良野： 今年の2月時点で、アブストラクトの3分の1くらいがほぼ全部AI生成で、さらに4割が部分的にAI生成だったっていう。
Phrona： それ、査読者側からするとどう見えるんでしょう。
富良野： PsyArXivってプレプリントサーバーも、洪水みたいに論文が来て、途中で人間によるチェックを入れざるを得なくなったって書いてありました。
Phrona： 機械が量産して、人間がそれを選別する。役割が逆転しかけてる。
ポイント解説
このジャーナル側の数字は、単に「AIで文章を書く人が増えた」という話として片づけるべきではない。
査読という制度は、もともと処理能力に限りがあることを前提に設計されてきた。一定数の原稿が、一定数の査読者によって、一定の時間内に評価される。投稿数が42パーセント増え、そのうち相当数が短時間で生成された原稿であるなら、この制度の前提そのものが崩れる（査読の質が下がるか、査読の遅延が慢性化するか、いずれにせよ制度は疲弊する）。レイザーのデモが示したのは、AIによる論文執筆の高速化そのものではなく、その高速化が査読という社会的制度のキャパシティと衝突する構造だったと見るべきだろう。
ここで一つ立ち止まりたいのは、レイザー自身の逡巡である。彼はできることを試し、その原稿を投稿しなかった。これは、技術的な可能性と規範的な判断のあいだに、まだ意識的な留保を置いている姿勢だと言える。だがこの留保は、個人の倫理観に委ねられている限り、制度としては脆い。査読制度がAI生成原稿への対応を組み込めていない現状では、レイザーのような自制心を持たない書き手の原稿もまた、同じ査読プロセスに流れ込んでくる。
1000人のスイス人になる方法
富良野： で、ここからが本題っぽいところで。Amazon Mechanical TurkとかProlificみたいな、報酬もらって回答するクラウドソーシング調査の話が出てくるんです。
Phrona： 少額でお金もらえるなら、早く適当に答えたくなる人も出てきますよね。
富良野： そう、そこにAIが入り込む。ベルリンのラウラ・リラって人が、ハニーポットを仕込んでるって話が出てきて。
Phrona： ハニーポット。
富良野： 質問文のソースコードにものすごく小さい文字を隠しておいて、コピペした回答者だけがそれを拾ってしまう、みたいな罠です。AIにだけ見える隠し指示を入れて、Xの羅列で答えさせるとか。
Phrona： 蜂蜜の甘さに誘われて、AIだけが引っかかる。
富良野： うまいこと言いますね。でもこれ、いたちごっこなんですよ。AIが賢くなればなるほど、隠し指示を回避するようになる。
Phrona： で、その次に出てくるのが、シリコン・サンプルって話ですよね。
富良野： はい。LLMに年齢とか性別とか政治的立場を与えて、「1000人のスイス人に調査したふりをして」って頼む手法です。2022年に提唱された概念らしいんですけど。
Phrona： 到達しにくい集団の反応を、安く速く手に入れられるって謳い文句ですよね。マーケティング調査ではもう商用サービスまで出てるって。
富良野： そこで出てくるのが、チューリッヒ大学のジェイミー・カミンズの研究で。モデルの設定、たとえばtemperatureみたいなパラメータを変えるだけで、ほぼどんな結果でも出せてしまうって。
Phrona： 望む答えを、望むだけ作れる。
富良野： もう一人、マルテ・エルソンって心理学者はもっと厳しくて。「支持する結果も、否定する結果も、好きなほうを出させられる。今のところ、それは不正と見分けがつかない」って言い切ってます。
Phrona： 不正と見分けがつかない。強い言葉ですね。
富良野： ここまでが、記事が最初に提示してる二つの危機です。調査回答が汚染される話と、シリコン・サンプルで人間を代替する話。
ポイント解説
シリコン・サンプルへのエルソンの評価は、感情的な誇張ではない。ここで問題になっているのは、統計的推論の前提そのものである。
社会科学の統計手法は、標本が母集団のある側面をランダムに、あるいは統制された形で反映しているという前提に依拠する。ところがシリコン・サンプルでは、標本を生成しているのはモデルのパラメータと訓練データの分布であり、実在する母集団ではない。カミンズが示したのは、この生成過程が研究者の設定次第で大きく揺れるという事実であり、それは「標本のばらつき」ではなく「モデルの応答傾向のばらつき」にすぎない。エルソンの「不正と見分けがつかない」という評価は、研究者に悪意がなくても、この手法が構造的にp-hackingと同じ機能を果たしうることを指摘したものと読める。
ここまでがNature記事の核である。だが、この二つの危機を並べて眺めたとき、見え方が少し変わってくる。
実は同じ穴が空いている
富良野： ここまで読んで、ちょっと引っかかったことがあって。
Phrona： なんですか。
富良野： 調査回答の汚染と、シリコン・サンプル。記事の中では別々の節で扱われてるんですけど、これ、根っこは同じ問題なんじゃないかって。
Phrona： 別々に見えるのは、混ざり方が違うからですよね。片方は勝手に紛れ込んでくる。もう片方は、研究者が自分で呼び込んでる。
富良野： そうそう。でも、その先で起きてることは同じで。「人間から得たデータだ」と思って分析している対象が、実はLLMが生成した「人間らしさの模倣物」にすり替わってる。
Phrona： 調査汚染は事故で、シリコン・サンプルはその事故を制度として認めてしまうことなんですね。
富良野： その言い方、すごくしっくりきます。事故と、事故の正当化。
Phrona： しかも厄介なのは、AIの回答って整いすぎてることなんですよね。人間の矛盾とか、無知とか、うっかりした勘違いとか、そういうノイズがない。
富良野： むしろ「きれいなデータ」に見えてしまう。
Phrona： 社会科学が本当に知りたいのは、その「きれいじゃない部分」のはずなのに。
富良野： ここでちょっと怖い想像をしたんですけど。もし人間のデータでAIが訓練されて、そのAIが調査回答を生成して、その回答がまた次の研究データになって、また次のAIの訓練に使われたら。
Phrona： ぐるぐる回る。
富良野： 循環ですよね。社会を観察しているつもりが、過去のデータとモデルの出力が互いを補強し合うだけの、閉じた反響室になってしまう。
Phrona： それ、社会科学の対象が「社会」から「社会の統計的な影」にすり替わる話ですね。
富良野： まさにそれです。
ポイント解説
調査回答の汚染とシリコン・サンプルを同型の問題として捉え直すこの視点は、Nature記事自体が明示的に述べたものではない。しかし両者を並べて読めば、読者は共通する構造に気づくはずだ。
前者は、研究設計の前提を崩す。研究者は人間から回答を得たと想定しているが、実際にはその一部にAI生成物が混入している。これはデータの真正性にかかわる問題である。後者は、より根源的な認識論の問題を含む。「人間の代替としてAIの出力を使ってよいのか」という問いであり、研究者がこの手法を明示的に「シミュレーションである」と位置づける限りは、限定的な使い道も残る（仮説生成や質問票の事前テストなど）。だがそれを実際の社会集団の証拠として扱い始めた瞬間、危険性は前者と同質のものになる。
ここまでの整理から言えるのは、二つの問題が「人間社会の観察」から「LLMによる人間像の再生産」への置き換えという一点で地続きだということだ。この構図を踏まえるなら、次に問うべきはAIを使うか使わないかではなく、どう使えば違う結果になるのか、である。
危ない近道と、有望かもしれない遠回り
Phrona： ここまで聞くと、AIは社会科学から離れてもらったほうがいいって結論になりそうですけど。
富良野： 記事もそこまでは言ってないんですよ。ニューヨーク大学のジョシュア・タッカーって政治学者が、「AIの恩恵を見過ごすべきじゃない、すごく面白い研究の可能性を開いてる」って言ってて。
Phrona： 危険と可能性、両方書いてある記事なんですね。
富良野： そうです。複雑なデータセットを素早く探索したり、統計手法を切り替えながら感度分析をしたり、査読の補助として方法論のミスを見つけたり。
Phrona： それって、結局「回答者としてのAI」じゃなくて「分析を手伝う道具としてのAI」ですよね。
富良野： その区別、大事だと思ってて。ここでちょっと自分の考えを乗せていいですか。
Phrona： どうぞ。
富良野： シリコン・サンプルを、そのまま人間の代わりにするのは危険だと思うんです。でも、LLMを何百体ものエージェントとして立ち上げて、それぞれに属性とか利害とか情報環境とか記憶を持たせて、相互作用させるなら話が変わってくる。
Phrona： 一体一体に喋らせるんじゃなくて、社会そのものを動かしてみる。
富良野： そうです。単純なシリコン・サンプルは「この政策に賛成ですか」って聞いて終わり。でもマルチエージェントにすると、「この政策情報が、どの経路で、誰の信頼を通って、どの集団で反発され、どの集団で受け入れられるか」まで見られる。
Phrona： それ、まるで社会を小さく作って、壊してみるみたいな話ですね。
富良野： まさに風洞なんですよ。飛行機をいきなり空に飛ばさずに、風洞で何度も試すじゃないですか。あれと同じで、政策とか制度を現実に投入する前に、人工社会の上で何度も壊してみる。
Phrona： 失敗を先に見つけるための場所。
富良野： そう。成功パターンを探すより、失敗パターンを先に見つけるほうが価値がある気がしてて。現実の制度が壊れると、実際の人が被害を受けるから。
Phrona： でも、それって結局モデルが作った「もっともらしい社会」に騙されるだけじゃないかっていう不安も残りますよね。
富良野： それはずっと残ります。だからこそ、人間の実データと何重にも照合し続けることが条件になる。平均だけじゃなくて、外れ値とか、少数派の反応とか、時間が経ってからのズレとか。
Phrona： 当たった部分より、外れた部分のほうが大事っていう発想、面白いですね。
富良野： ズレた場所にこそ、AIの限界と、人間社会の複雑さが両方見えてくる気がします。
ポイント解説
「回答者としてのAI」と「社会モデルの部品としてのAI」という区別は、この議論全体の分水嶺になる。前者は、人間集団の代替物としてAI出力を用いる。後者は、AIエージェントを、属性、記憶、利害、情報環境を備えた行為者として組み込み、その相互作用から生じる集計的なパターンを観察する。両者は表面的には近く見えるが、目的も検証方法もまったく異なる。前者が目指すのは「人間の代わりの声」であり、後者が目指すのは「制度がどこで壊れるかの仮説」である。
すでにこの方向の研究は存在する。LLMエージェントに記憶や計画を持たせ、小さな共同体の中で相互作用させる試みや、共有資源をめぐる持続可能な協力をLLMエージェント群に模索させる研究では、多くのエージェントが持続可能な均衡に到達できず、成功にはエージェント間のコミュニケーションが鍵になるという結果が報告されている。つまり、この種のシミュレーションは「AIが賢く協力する」ことを証明する装置ではなく、むしろ「どこで協力が崩れるか」を観察する装置として機能している。
ただし、この可能性を強調しすぎるのも危険である。妥当性の検証は一層では済まない。平均値の一致だけでなく、変数間の構造的な関係、時間を追った変化、条件を変えた場合の反応、そして現実の制度で起きる壊れ方そのものが、どこまで再現されるかを段階的に確かめる必要がある。この検証を怠れば、風洞という比喩は、シリコン・サンプルの危険を装いを変えて繰り返すだけの言い訳になりかねない。
代わりになるかではなく、何を試せるか
富良野： 最後にちょっとまとめたいんですけど。この記事を読んで一番残った問いって、「AIは人間の代わりになるか」じゃない気がしてて。
Phrona： じゃあ何が残りました?
富良野： 「AIを使って、人間社会を調べる実験の設計能力そのものをどこまで広げられるか」っていう問いです。
Phrona： 代わりを探すんじゃなくて、道具を広げる。
富良野： そうです。社会科学って、社会全体をランダム化できないし、制度を変える実験は一回きりになりがちだし、倫理的に試せない介入も多い。だから、どうしても過去の出来事を後から説明する学問になりやすい。
Phrona： 実験できないという宿命を、少しでも緩められるなら。
富良野： それがこの技術の一番面白いところだと思ってて。ただし、それを「証拠」だと思った瞬間に、また同じ穴に落ちる。
Phrona： シリコン・サンプルの穴と同じ穴。
富良野： そう。だから位置づけとしては、あくまで仮説を作る場所、失敗を先に見つける場所であって、結論を出す場所じゃない。
Phrona： 予測じゃなくて、ストレステスト。ちょっと怖いところもあるんですけどね。AIが作った社会が、本物の社会の代わりに政策の根拠として使われ始めたら、って考えると。
ポイント解説
「AIは人間の代わりになるか」という問いは、答えがどちらに転んでも、AI出力を証拠として扱うか否かという二択に閉じてしまう。これに対して「実験設計能力をどこまで広げられるか」という問いは、AIを証拠の生成者ではなく、仮説と失敗モードの探索者として位置づけ直す。社会科学が長らく抱えてきた制約、すなわち社会全体を統制できない、制度変更は一回性が強い、倫理的に試せない介入があるという制約に対して、この位置づけは部分的な緩和策になりうる。
ただし、この緩和策には歯止めが要る。Phronaが最後に置いた懸念、すなわち合成された社会が政策の正当化に使われる危険は、決して杞憂ではない。人工社会の出力が「支持された」「反対は少数だった」という形で語られ始めた瞬間、それはシリコン・サンプルと同じ機能を果たしてしまう。この技術の価値は、予測することではなく、現実に手を出す前に問いを鋭くすることにある。その一線を保てるかどうかが、この技術が社会科学にとって近道になるか遠回りになるかを分ける。
この記事は、Projeteam, Inc. ウェブサイトで先行公開された
AIを使って、人間社会を試す装置はできるか── 社会科学という、実験できない学問のための風洞
を素材として対話形式で再構成したものです。元記事では、既存のエージェント・ベースド・モデルとの違いや、妥当性検証をどう階層的に行うべきか、政策利用における具体的なガードレールについて、もう一歩踏み込んで論じています。腰を据えて考えてみたい方は、是非こちらもあわせてどうぞ。
徐勝徹のマガジン