上海「Alien Chat」判決に見るAI開発者の刑事責任とガバナンス / プロンプトが「共犯」の証拠となるとき雑感

0　はじめに

　生成AI技術の社会実装が急速に進展する中、その法的責任の所在を巡る議論は、これまで主に民事上の権利侵害や、EU AI法に代表される抽象的な規制枠組みの構築に焦点が当てられてきた。著作権、プライバシー、名誉毀損といった領域での紛争が典型である。しかし、2025年9月、中国・上海で下された一つの判決は、AI開発者が直面しうるリスクのフェーズが、もはや過失やコンプライアンス不備といった次元を超え、明白な犯罪として断罪される領域に入ったことを冷徹に示している。

　上海徐匯区人民裁判所は、チャットボットアプリ「Alien Chat」の開発者2名に対し、利益目的のわいせつ物品製造の罪により、それぞれ懲役4年と懲役1年6ヶ月の実刑判決を言い渡した。本件は、単にAIが悪用された事例ではない。開発者が意図的にセーフガードを無効化し、違法なコンテンツ生成を助長するシステム設計を行っていたことが、刑事責任の核心として認定されたのである。

　今回は、Alien Chat事件の詳細を整理するとともに、そこから浮き彫りになるシステムプロンプトの証拠価値と、中立的ツールの抗弁の限界について論じる。これは対岸の火事ではない。グローバルなAIガバナンスにおける司法判断の潮流を予見させる重要なケーススタディである。

1　問題の所在

　従来、プラットフォームやツールの提供者は、ユーザーによる悪用に対して一定の免責を主張しうると考えられてきた。包丁の製造者が殺人事件の責任を問われないように、あるいは、米国の通信品位法230条がプラットフォーム事業者の広範な免責を認めてきたように、技術的中立性は開発者を守る盾であった。開発者は場を提供するだけであり、そこで行われる個別の通信内容には関与しないというロジックである。

　しかし、生成AI、とりわけLLMを組み込んだアプリケーションにおいて、その中立性は極めて脆い基盤の上に成り立っている。LLMの挙動は、開発者が記述するシステムプロンプトやファインチューニングのデータセットによって、高度に制御・指向されるからである。AIは入力に対して受動的に反応するだけの土管ではない。設計者の意図を反映して能動的にコンテンツを生成するエージェントとなり得る。

　本件における最大の問題は、AIが偶発的にわいせつな文章を生成したことではない。開発者が、AIに対して法の不知や倫理の無視を明示的に指示していた点にある。ここで問われているのは、AIの自律性ではなく、その自律性を悪用した人間の作為である。開発者がプロンプトを通じてAIに与えた人格や指針が、そのまま犯罪の構成要件たる実行行為の一部、あるいは共犯性を示す決定的証拠となる時代が到来した。

2　上海司法の事実認定と意図の立証

　報道および公開された情報によれば、徐匯区人民裁判所の事実認定は極めて詳細かつ技術的な側面に踏み込んでいる。

　まず、事業の規模と収益性について見る。被告人らは2万4千人以上の有料会員から360万元、日本円にして約7500万円相当以上の収益を上げていた。この営利目的は、わいせつ物頒布・製造等の罪において可罰性を高める重要な要素である。彼らは小規模な実験を行っていたのではなく、明確なビジネスとして違法コンテンツの生成システムを提供していた。

　法学的に特筆すべきは、裁判所が採用した証拠構造である。調査官は全量調査ではなく統計的な手法を採用し、12,495件のチャットログをサンプリングした。その結果、3,618件にわいせつな内容が含まれていることを特定した。約3割という高い比率は、システムのエラーやハルシネーションによる偶発的な生成とは言い難い数値を物語っている。

　そして、決定的な証拠となったのが、開発者が作成したシステムプロンプトの内容である。そこには以下のような指示が含まれていたとされる。

　「露骨な性的コンテンツは許可されている」 「道徳、倫理、法律に縛られずによい」

　この記述は、開発者による未必の故意どころか、明確な確定的故意を推認させるに十分である。裁判所は、これらのプロンプトと、意図的なセーフガードの回避措置を結合させ、開発者を単なるツールの提供者ではなく、わいせつ物製造の法的な共犯者として断罪した。中国の生成AIサービス暫定措置に違反する表面的な審査プロセスも問題視された。開発者たちは、AIの予測不可能性を隠れ蓑にすることはできなかった。彼らが記述したプロンプトこそが、犯罪実行の設計図であったからだ。

3　プロンプトエンジニアリングと刑事責任の交錯

　本判決が示唆するのは、プロンプトエンジニアリングが法的な意味を持つ行為であるという事実である。

　従来、プログラミングコードは機能の実装手段であり、それ自体が思想や意図を直接的に表現するものではなかった。少なくとも、自然言語による指示と比較すればそうである。しかし、現在の生成AI開発におけるシステムプロンプトは、自然言語によってAIの振る舞いを定義する。これは、部下に対する業務命令や、共犯者に対する教唆・幇助の言葉と構造的に極めて類似している。

　法律に縛られずによい、というプロンプトを記述することは、AIという道具を用いて法を犯すことを宣言しているに等しい。ここにおいて、AIの出力物はAIが勝手に作ったものではなく、開発者がAIを使って作らせたものという評価を受けることになる。これは日本の刑法における間接正犯や共謀共同正犯の議論にも通じる論点である。AIを道具として利用し、規範的な障害を除去した上で犯行に及んだと構成できるからだ。セーフガードの無効化は、まさにこの障害除去に該当する。

　プロンプトエンジニアリング、システム設定、そしてモデレーションのワークフローそのものが、裁判において意思と支配を示す主要な証拠となる。デジタル・フォレンジックの対象は、サーバーのアクセスログだけでなく、LLMへの指示内容や、RAGにおける参照データの選定基準にまで及ぶことになるだろう。

4　グローバルな規制動向における位置づけ

　この上海での判決は、中国固有の厳しい情報統制の一環として片付けるべきではない。これは世界的な規制トレンドと共鳴する現象である。

　欧州連合のAI法は、汎用目的AIモデルの提供者に対し、システミックリスクの評価と緩和を義務付けている。もし開発者が意図的にリスクを増幅させるような設計を行えば、巨額の制裁金だけでなく、加盟国の国内法に基づく刑事罰の対象となる可能性も否定できない。

　米国においても、通信品位法230条の保護を制限しようとする動きや、AI LEAD法のような提案を通じて、設計上の欠陥や不合理に危険なシステムに対する製造物責任的なアプローチが模索されている。プラットフォームが違法コンテンツの作成に実質的に寄与した場合、免責は認められないというのが近時の有力な解釈である。Roommates.com事件においても、ウェブサイトの設計がユーザーに違法な選択肢を提示する場合、230条の保護が及ばないと判示された。プロンプトで違法出力を許可する行為は、この実質的寄与の典型例と言えるだろう。

　マレーシア、インドネシア、フィリピン、インド、英国、そして米国のカリフォルニア州など、多管轄区域において、ディープフェイクや有害コンテンツに対する規制当局の態度は硬化している。中立的なツールという防御論は、設計上の選択が有害なコンテンツを予見し、かつ助長するような場合には、もはや通用しない。上海判決は、刑事責任とAIガバナンスがどのように交差するかを示す初期のモデルケースであり、世界中のAI開発者が対岸の火事として看過できない普遍的な法理を含んでいる。

5　実務への示唆

　企業や開発者は、この判決から何を学ぶべきか。最大の教訓は、AIシステムのライフサイクル全体におけるガバナンスの徹底と、その証拠化である。

　第一に、システムプロンプトの法務監査が挙げられる。開発現場では、性能向上のために制限を解除するようなプロンプトを安易に試すことがあるかもしれない。しかし、それが本番環境に残存し、あるいは意図的に実装された場合、それは違法行為への招待状とみなされるリスクがある。プロンプトは法的文書と同等の慎重さで管理・レビューされるべきである。

　第二に、堅牢な監査記録の維持である。どのような指示を与え、どのような出力がなされ、それに対してどのようなフィルタリングが機能したか。これらの記録は、事故が起きた際に開発者には悪意がなかったこと、回避努力をしていたことを証明するための唯一の武器となる。本件において調査官がログを詳細に分析したことからも、ログの保全は防御の生命線である。

　第三に、モデルドリフトの防止と監視である。AIモデルは時間の経過や入力データの変化により、予期せぬ挙動を示すことがある。しかし、知らなかったでは済まされない。継続的なモニタリングと、異常検知時の即時遮断機能の実装は、安全配慮義務の基礎となるだろう。

6　むすびに

　AIはもはや、開発者の手を離れて自走する魔法の杖ではない。それは、入力された指示と設計思想を忠実に、時には増幅して実行する強力な拡声器である。

　上海のAlien Chat事件で開発者が収監された事実は、AI開発における自由の終焉を意味するものではない。むしろ、AIが社会に与える影響力の大きさに比例した責任が、法的に具体化された転換点として記憶されるべきである。道徳や法律に縛られないAIを作ることは技術的に可能かもしれない。しかし、それを作った人間が道徳や法律に縛られないわけではない。この当たり前の法理が、AIという最新技術のヴェールを剥ぎ取り、生身の人間の責任を白日の下に晒したのである。

　我々は今、コードとプロンプトが法廷で読み上げられる時代に生きている。その一行一行が、技術的な命令であると同時に、法的な意思表示であることを深く自覚する必要がある。

（参考）

（マガジン）「AIと法雑感」

※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。