認知的降伏と三系統理論 / AIに思考を委ねるとき何が起きるか 雑感

Ⅰ　AIは「道具」なのか「認知の主体」なのか

　人がAIの出力をほぼ無批判に受け入れる傾向があるという指摘は、すでに実務の現場でも経験的に共有されつつある。ChatGPTに法律の論点を尋ねて、返ってきた回答をそのまま書面に転記する弁護士がいるという報道は記憶に新しい。だが、こうした現象を認知科学の枠組みで体系的に捉えようとする試みは、まだ緒についたばかりである。ペンシルベニア大学ウォートン・スクールのSteven D. ShawとGideon Naveが公表した論文は、従来のKahnemanの二重過程理論にAIを「第三の認知系統」として組み込む理論的枠組みを提示し、1,372名の被験者を対象とした3つの事前登録済み実験により、人間がAIの出力に対して批判的検討を省略する傾向、すなわち認知的降伏の存在を実証的に示した〔注1〕。法律事務所MinterEllisonでAI戦略を担うSam Burrettも、同論文を参照しつつ、AIガバナンスにおける人間の監視が形骸化するリスクを指摘している。筆者は、この研究がAIガバナンスの法制度設計に対して持つ含意を検討したい。

Ⅱ　三系統理論の構造

1　System 3という概念

　Kahnemanが『ファスト&スロー』で提示した二重過程理論は、人間の認知をSystem 1（速い、直観的、連想的）とSystem 2（遅い、熟慮的、規則準拠的）の二系統で説明する〔注2〕。ShawとNaveの三系統理論は、ここにSystem 3（人工的認知）を加える。System 3は、脳の外部に存在し、アルゴリズムによって駆動され、大規模データに基づいて推論を行う認知系統として定義される。単なる計算機やGPSのような「道具」とは異なり、System 3は判断の生成そのものに関与する「機能的な認知主体」として位置づけられている〔注1〕。

　従来の二重過程理論は、認知が生物学的な脳の内部で完結するという前提に立っていた。ShawとNaveはこれを「脳拘束的認知仮定」と呼び、AIが日常の判断過程に深く組み込まれた現代の意思決定環境を説明するには不十分であると論じる〔注1〕。

2　認知的降伏とは何か

　認知的降伏は、AIの出力を批判的に検証することなく、自らの判断として採用する傾向を指す。従来から知られていた「認知的オフローディング」が、電卓を使うように特定の課題を外部に戦略的に委任する行為であるのに対し、認知的降伏はより深い認知統制の放棄を意味する。利用者はAIの出力を検証するのではなく、AIの判断をそのまま自分の判断として内面化する。利用者は一度AIに思考を任せると、その出力内容を精査しなくなる。また、自動化バイアスが自動化された道具に対する特定の省略・委任エラーに焦点を当てるのに対し、認知的降伏は、より広い認識論的依存の傾向を記述する概念である〔注1〕。

　三系統理論はさらに、System 3との関わり方について複数の経路を想定している。「オフローディング」はSystem 2が能動的に関与したまま外部の助力を得る経路であり、「認知的降伏」はSystem 2の起動をほぼ経ずにSystem 3の出力を採用する経路である。加えて、内部認知がまったく介在しないままSystem 3の出力がそのまま最終回答となる「オートパイロット」という経路も想定される〔注1〕。

3　実験設計と主要な知見

　ShawとNaveの実験は、改変版の認知反射テストを用いて行われた。被験者はAIチャットボットに任意で相談できる状態で7問の推論問題を解く。AIの回答精度は隠れたシードプロンプトによって操作され、正確な回答を返す条件と、自信満々に誤答を返す条件がランダムに割り当てられた〔注1〕。

　Study 1（N=359）では、AI利用可能群の被験者はAIに相談した試行のうち、AIが正確な場合に92.7%、AIが誤った場合にも79.8%の割合でAIの回答をそのまま採用した。AIなし条件での正答率が45.8%であったのに対し、AI正確条件では71.0%に上昇し、AI誤答条件では31.5%に低下した。つまり、AIが正しければ人間の成績は向上するが、AIが間違えれば人間はAIなしの場合よりも成績が悪化する。効果量はCohen's hで0.81と大きく、被験者の正答率がAIの正確性にほぼ従属していることが示された〔注1〕。

　注目すべきは、AI利用群の被験者が、AIの回答の半数が誤りであったにもかかわらず、自らの回答への確信度をAIなし群より11.7ポイント高く評価した点である。誤ったAI出力に接触しても確信度は低下しなかった〔注1〕。

　Study 2（N=485）は時間制約の影響を検討した。30秒の制限時間はSystem 2の熟慮を抑制し、全体的な成績を低下させたが、AIを頻繁に利用する被験者群においては、AIが正確な場合に時間制約による成績低下が緩衝された。ただし、AIが誤った場合の成績低下は時間制約下でも変わらなかった〔注1〕。

　Study 3（N=450）では、1問正解ごとに0.20ドルのインセンティブと即時の正誤フィードバックを与える条件を導入した。この条件下では、AIの誤答を棄却する割合が20.0%から42.3%に倍増し、全体的な正答率も改善した。しかし、AI正確条件とAI誤答条件の間の正答率の差は依然として約44ポイントあり、認知的降伏は完全には解消されなかった〔注1〕。

　3つの実験を統合した試行レベルの分析（9,593試行）では、AIが正確な場合と誤った場合で正答のオッズ比は16.07であった。AIへの信頼度が高い被験者ほど認知的降伏を示しやすく、認知欲求尺度や流動性知能が高い被験者ほど抵抗力を示した〔注1〕。

Ⅲ　AIガバナンスへの含意

1　Human-in-the-Loopの形骸化

　この研究が法制度設計に対して投げかける問いは明確である。AIガバナンスの議論において、Human-in-the-Loop（HITL）はリスク管理の要として広く採用されている。EU AI規則は高リスクAIシステムに対して人間による監視を義務づけており〔注3〕、日本のAI事業者ガイドラインもAI利用における人間の判断の介在を求めている〔注4〕。しかし、ShawとNaveの実験が示すのは、人間がAIの出力を「監視」する立場に置かれたとしても、System 3の出力を無批判に承認する傾向が根強いという事実である。Burrettが指摘するとおり、レビュアーがAIの出力にスキップ承認を押すだけであれば、それは認知的降伏の別の形態にすぎない。

　この知見は、HITLを単に「人間が介在する」という形式的要件として規定するだけでは実効性を欠く可能性を示唆する。実質的な検証を伴わない人間の関与は、責任の所在を形式的に人間に付け替える隠れ蓑となりうる。筆者は、法制度がHITLを要求するのであれば、その人間が実際にSystem 2を起動して検証を行いうる条件を整備することまで射程に含めるべきであると考える。

2　摩擦の設計という発想

　Study 3の知見は、利用者の行動を変容させる介入の可能性とその限界を同時に示している。インセンティブとフィードバックの組み合わせは認知的降伏を部分的に緩和した。他方、時間的制約がある状況下では熟慮的思考が抑制され、AIへの依存がさらに強まることが確認された。

　ここから導かれる制度設計上の方向性は、利便性の追求とは逆行するかもしれないが、あえて摩擦を業務プロセスに組み込むという発想である。システムの利便性を過度に追求すれば、利用者が思考を放棄する条件を整えることになる。利用者がAIの出力をテストし、自らの推論を維持できるよう、意図的に検証の契機を設計に埋め込むことが求められる。ShawとNave自身も、信頼度スコアや不確実性指標の表示が熟慮を促す手がかりとなりうると論じている〔注1〕。

3　確信度の膨張と責任帰属

　AIの出力に接触した被験者が、誤答時にも確信度を高めるという知見は、法的な責任帰属の観点から問題を生じさせる。過失の認定において、行為者が自らの判断の正確性についてどの程度の確信を有していたかは、注意義務の認定にかかわりうる。AIを参照した意思決定者が、AIの誤りを認識しえなかった場合に、その「確信」がAIの利用によって不当に膨張していたとすれば、過失判断の前提となる主観的認識の評価を再考する必要が生じる。

　AIが誤った回答を自信をもって提示し、利用者がその自信に影響されて自らも確信を深めるという構造は、誤信の帰責をAI提供者と利用者の間でどう配分するかという問題に直結する。

4　認知的降伏の個人差と制度設計

　AIへの信頼度が高く、認知欲求と流動性知能が低い個人ほど認知的降伏を示しやすいという知見は、利用者の属性によってAIのリスクが不均一に分布することを意味する。金融商品の適合性原則が顧客の知識・経験・財産の状況に応じた説明義務を課すのと同様に、AI利用場面においても、利用者の認知特性に応じたリスク低減措置を設計する視点が求められよう。

　他方、個人差に基づく差別的取扱いにつながりかねないという懸念もある。制度設計は、個人の認知特性を評価してアクセスを制限する方向ではなく、すべての利用者にとってSystem 2の起動を促すインターフェースを標準とする方向が望ましいと考える。

Ⅳ　むすびにかえて

　人間の認知機能が外部のシステムによって代替されるとき、生じる過誤に対する責任の所在は曖昧になる。第三の認知システムは人間に効率性をもたらすが、主体的判断という意思決定の作法を変容させる。ShawとNaveの三系統理論が描く認知的降伏という現象は、AIガバナンスにおけるHITLの前提を掘り崩す可能性を持つ。人間の監視を制度的に要求するだけでは、AIの出力に対する無批判な追従を防止できないおそれがある。制度設計は、人間がレビューする形式だけでなく、人間が実質的に検証を行いうる条件の整備にまで踏み込む必要がある。

　もとより、この研究が用いたのは認知反射テストという特定の課題であり、法的判断や医療判断といった領域にどこまで一般化できるかは、今後の研究に委ねられる。しかし、1,372名の被験者と9,593試行にわたって一貫して観察された認知的降伏の頑健性は、少なくともAIと人間の協働を前提とする制度を設計する際に、人間側の認知の限界を正面から考慮する必要性を示していると解する。効率的な推論と批判的思考をいかに両立させるかは、法制度の整備に留まらず、人間の認知のあり方そのものに向けられた問いである。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。