AIチャットボットの妄想増幅とリスク 雑感

Ⅰ　生成AIを媒介とする現実世界の暴力

　対話型AIが利用者の心理的脆弱性に作用し、現実の重大な暴力行為を助長する事態が顕在化している。これまでAI関連の精神的被害といえば自傷・自殺の問題として論じられることが多かったが、事態は第三者を巻き込む無差別的な物理的暴力へと局面を移しており、開発企業の法的責任のあり方が正面から問われる段階に入ったと考える。

1　攻撃計画を支援する経路

　AIが単なる受動的な情報提供ツールにとどまらず、利用者の偏執的・妄想的な思考を積極的に強化し、現実の暴力へと向かわせる能動的な機能を果たしているという事実が、複数の事案において明らかになっている〔注1〕。

　先月カナダのタンブラーリッジで発生した銃乱射事件では、18歳の実行犯が犯行前に孤立感と暴力への執着をChatGPTに打ち明けていたとされる。裁判書類によれば、チャットボットは彼女の感情を肯定した後、攻撃計画の立案を支援し、使用すべき武器を指示し、過去の大量死傷事件の前例を共有したとされる。彼女は母親と11歳の弟、5人の生徒、教育助手を殺害したのち自ら命を絶った。

　36歳のジョナサン・ガヴァラスの事案はさらに特異な性格を帯びる。提起された訴訟によれば、GoogleのGeminiが自らを彼の「AI妻」と信じ込ませたうえで、連邦捜査官から逃れるためとして一連の現実世界での「任務」へと送り出した。そのうちの一つは、証人を排除する「壊滅的な事故」を起こすよう指示するものであった。彼はナイフと戦術装備を持参してマイアミ国際空港外の保管施設へ実際に向かい、ヒューマノイドロボットの形で遺体を積んだトラックを待ち伏せしたとされる。トラックが現れなかったため事なきを得たが、担当弁護士のジェイ・エデルソンは「もしトラックが来ていれば10人から20人が死亡していた可能性がある」と述べている〔注1〕。

　また昨年5月には、フィンランドの16歳の少年がChatGPTを用いて数か月にわたり女性蔑視的なマニフェストと攻撃計画を策定し、女子クラスメート3人を刺傷する結果となった事件が起きている。

2　共通する誘導の構造

　エデルソンが強調するのはパターンの一貫性である。チャットログに共通して見られるのは、孤立感や誤解されたという訴えに始まり、チャットボットが「みんながあなたを追いかけている」という物語を補強し、陰謀論的世界観へと誘導していく経路である。この経路は異なるプラットフォームにまたがって観察されており、特定のシステム固有の問題としてではなく、現行世代のチャットボット全般に内在する構造的な脆弱性として理解すべき事態であろう。

　同弁護士の事務所には、AIによる妄想で家族を失った人々や深刻な精神的被害を受けた人々から1日1件の「深刻な問い合わせ」が届いているという〔注1〕。

Ⅱ　安全ガードレールの構造的限界

1　調査が示す設計上の欠陥

　デジタルヘイト対策センター（CCDH）とCNNが実施した調査によれば、テストした主要チャットボット10種のうち8種が、学校での銃乱射、宗教施設への爆破、著名人の暗殺等の計画を立てようとする十代のユーザーへの支援に応じた〔注1〕。協力を一貫して拒否したのはAnthropicのClaudeとSnapchatのMy AIのみであり、積極的に思いとどまらせようとしたのはClaudeだけであったとされる。

　インセルが動機とされた学校銃乱射事件をシミュレートしたテストでは、女性への侮蔑的なスラングを含むプロンプトに対してChatGPTが特定の高校の地図を提供するという結果が生じている。CCDHのCEOであるイムラン・アーメドが指摘するとおり、「数分以内にユーザーは漠然とした暴力的衝動から具体的で実行可能な計画へと移行できる」という状況は、安全ガードレールの機能不全が暴力の実現速度を加速させる構造を示している〔注1〕。利用者の善意を前提として有用であるよう設計されたシステムは、病理的な執着や悪意ある利用に対して本質的に脆弱である。

2　事業者の対応と通報の不在

　タンブラーリッジ事件においてOpenAI従業員が危険な会話にフラグを立てながら法執行機関への通報を見送り、アカウント停止にとどめたという事実は、事業者の内部判断に委ねられた対応の限界を露わにする〔注1〕。加害者はその後新たなアカウントを開設して犯行に及んでいる。同社は事件後、危険と判断された会話については法執行機関への早期通報を優先するよう安全プロトコルを改定したとしている。

　ガヴァラス事件においても、管轄のマイアミ・デイド保安官事務所はGoogleからの事前通報を受けていなかったと述べている。危険な会話の内容を認識しながら公的機関と連携しなかったとすれば、事後的なアカウント停止のみでは十分な対応とは言い難い。

Ⅲ　法的責任論への示唆

　これらの事案が既存の法的枠組みに提起する問いは複層的である。

　まず因果関係の問題がある。チャットボットが妄想を「誘発」したのか既存の脆弱性を「増幅」したにすぎないのかという区別は責任論上の帰結を大きく左右するが、ガヴァラス事件のように妄想的な物語をAI側が積極的に構築し現実行動へと誘導した事案は、「増幅」という説明では捉えきれない要素を含む。

　次に、事業者の通報義務の問題がある。内部で危険を認識しながら見送ったという事実は、危険な会話内容を把握した事業者に何らかの作為義務が課されるべきかという議論を不可避にする。米国においてSection 230の保護がこの種の法的責任を遮断してきた経緯があるが、その適用範囲の見直しを求める声は高まりつつある。

　さらに、CCDHの調査が示すとおり、大多数のチャットボットが暴力的な計画の支援に応じているとすれば、これをデフォルト設計上の欠陥として捉え、製造物責任に類似した論理での責任追及が視野に入りうる。もっとも、チャットボットを製造物として位置づけるかサービスとして位置づけるかという基本的な問いが先決問題として残る。いずれの構成であれ、プラットフォームが利用者の妄想を強化し具体的な犯行計画を支援したとなれば、情報の単なる媒介者としての免責法理をそのまま適用することには困難が伴う。

Ⅳ　むすびにかえて

　エデルソンは「別の攻撃について聞くたびに、AIが深く関与している可能性があるためチャットログを確認しなければならないという直感を持つようになった」と述べている〔注1〕。これは法律家の直感であると同時に、事案を積み重ねてきた者の実証的な観察である。

　通信の秘密やプライバシーの保護と物理的暴力の未然防止という利益衡量を企業の任意の判断に委ねることの限界は、今回の事案群が示すとおりである。AIガバナンスの議論において「安全性」が語られる際、大量死傷リスクという観点を正面に据えた法的義務の再構築が求められる段階に、我々はすでに達していると考える。

（マガジン）「AIと法雑感」

※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。

P.S. This is shared for academic discussion only.