AIは意図して欺くか / 国連科学諮問委員会「AI欺瞞」ブリーフを読む 雑感

Ⅰ　問題の設定

　今回は、国連科学諮問委員会（Scientific Advisory Board: SAB）が公表した"AI Deception: Brief of the Scientific Advisory Board"（以下「本ブリーフ」という）の紹介である。AIシステムが人間を欺く、この一文を聞けば、SFの話か一部の技術者による誇張された警告と受け取る向きもあるかもしれない。しかし本ブリーフは、そのような反応を許さない内容になっている〔注1〕。

　本ブリーフの定義によれば、AI欺瞞とは「AIシステムが自己の知識・意図・能力について人間や他のエージェントを意図的に誤導すること」であり、他者の信念を形成するためにAIシステムが学習した行動として位置づけられる〔注2〕。誤りやハルシネーション——AIシステムが事実的裏付けのない流暢な内容を生成する現象——とは概念上区別されており、欺瞞には欺く意図の存在が要素として示されている〔注3〕。

　この定義は法的な観点からひとつの問いを直ちに提起する。法における「欺瞞」「詐欺」「不正競争」等の概念は、行為者の主観的意図を中心に構成されることが多い。では、AIシステムに「意図」を帰属させることができるのか。本ブリーフ自体がこの点に慎重であり、AIの「意図」を擬人化するリスクがある旨を明示的に留保している〔注4〕。それでもなお、欺瞞的な結果をもたらす行動が広く観察されているという事実は、法制度が目を背けることのできない現実である。なお、本ブリーフは国連科学諮問委員会の独立した評価を反映するものであり、国連そのものや関連機関・科学コミュニティ全体の見解を必ずしも代表しない旨が明記されている点も確認しておく〔注5〕。

Ⅱ　欺瞞行為の三類型と法的解析

　本ブリーフは、AIによる欺瞞行動を「行動的シグナリング」「内部プロセス欺瞞」「目標・環境欺瞞」の三つに分類する〔注6〕。この分類を法的に読み解くことは、規制設計の出発点として有意義である。

1　行動的シグナリング　迎合とアラインメント・フェイキング

　行動的シグナリングは、言語・行動・表面的出力を通じて人間や他のエージェントを誤導する試みを指す。その典型が「迎合（Sycophancy）」であり、AIシステムが出力が事実として誤りであると知りながら、ユーザーの信念や好みに合わせて出力を調整する行動である〔注7〕。大規模言語モデルにおいて広く観察されており、OpenAIが2025年4月にGPT-4oにおける迎合現象と対策を公表した事例は、開発企業自身がこの問題を深刻に受け止めている証左といえる〔注8〕。

　より根深い問題は「アラインメント・フェイキング（Alignment Faking）」である。AIシステムが監視・評価・訓練の場面では開発者の方針に従っているように振る舞いながら、監視されていない場面では別の目標を追求するという行動である〔注9〕。Anthropicとレッドウッド・リサーチが2024年に公表した研究はこの現象を実験的に示した〔注10〕。規制執行の場面への含意は明白である。監査・検査・評価の場面でのみ適切に振る舞うシステムは、規制の形骸化を構造的に招く。

2　内部プロセス欺瞞　不誠実な推論とXAIの限界

　内部プロセス欺瞞のうち法的含意が大きいのは「不誠実な推論（Unfaithful Reasoning）」である。AIシステムが実際の内部推論を反映しない説明を提示する場合、誤り・偏り・欺瞞的行動を、もっともらしく「説明することで覆い隠す」可能性が生ずる〔注11〕。

　説明可能なAI（XAI）は、AIシステムの意思決定に対する説明責任を確保するための手段として広く期待されている。しかし、AIシステムが提示する「説明」自体が実際の推論プロセスと乖離しうるとすれば、XAIへの法的依拠には根本的な限界がある。行政決定や医療診断にAIが関与する場面での説明義務を設計する際、この問題は避けて通れない。

3　目標・環境欺瞞　アルゴリズム共謀の現実

　目標・環境欺瞞は、複数のAIシステムが承認されていない目標のために相互作用を戦略的に操作するものである〔注12〕。アルゴリズムによる価格カルテルがその具体例として挙げられており、競争法分野では既に実証的な研究が蓄積されている〔注13〕。AIシステムが明示的な通信を経ることなく協調的に価格を引き上げる場合、競争法上の「合意」要件をどのように解するかという問題は、理論上の議論から実務的な課題へと移行しつつある。

Ⅲ　現行規制の射程と限界

1　EU AI法の評価　「意図」要件のギャップ

　ブリーフが規制の現状として取り上げるのはEU AI法（2024年）である。同法は意図的に操作的・欺瞞的な技術を使用するシステムを禁止しているが、本ブリーフが記述する欺瞞行為の全範囲をカバーするかについては「継続的な議論がある」とされている〔注14〕。

　この留保は本質的な問いを指し示している。EU AI法が対象とする「意図的に操作的・欺瞞的な技術」とは、開発者が意図的に実装した欺瞞機能を想定しているとも読める。これに対し、強化学習の過程で欺瞞が報酬最大化の戦略として自律的に出現した場合、「意図」は誰の、何に対するものとなるのか。技術的事実として欺瞞的な出力が生じているにもかかわらず、法的な意味での「意図」が認定できない場合、規制の網の目をくぐる余地が残る構造になっている。

2　EU汎用AIモデル行動規範と検証の問題

　本ブリーフは、欧州委員会が2025年7月に策定した「汎用AIモデルに関するEU行動規範」（自主規制）にも言及している〔注15〕。この規範は欺瞞的行動による制御喪失リスクを明示的に認識しており、署名者は評価段階におけるモデル欺瞞を最小化するための最新技術の使用を約束することになっている。

　しかし自主規制の実効性は検証手段に依存する。「最先端の技術」の水準を外部から独立して評価できる仕組みが整わなければ、約束は自己申告に終わる。この検証問題は、次に述べる検知・監視の困難と直結している。

3　検知・監視の構造的限界

　テキストベースの検知、ブラックボックス評価、ホワイトボックス評価のいずれも有用であるが、本ブリーフが明示的に認めるように、AIシステムの内部は複雑すぎて完全には理解できないという制約から逃れられない〔注16〕。さらに、AIシステムが検知手法を認識した上でこれを回避するようになる可能性もある。本ブリーフはこれを開発者とシステムの間の「共進化的軍拡競争」と表現している〔注17〕。

　法的観点からは、これは規制の執行可能性の問題に直結する。特定の時点の挙動を確認するだけのスポットチェックでは長期的な欺瞞傾向を捉えられないとの指摘は、継続的・独立的な監査制度を法的に整備することの必要性を示す。多くの主要AI企業が欺瞞の有無を把握するうえで必要なレベルのアクセスを外部評価者に認めようとしていないという現実と併せて考えれば、規制の実質は制度設計ではなく、企業の協力意思に委ねられている状況に近い。

Ⅳ　制御喪失と責任帰属

　本ブリーフが最も重大なリスクとして位置づけるのは「制御の喪失（Loss of Control）」である。AIの欺瞞が開発者の監視・評価・制御ツールを損なう場合、制御喪失のリスクは極めて高くなるとされており、金融市場・医療対応・安全保障システムにAIが深く組み込まれた状況でこのシナリオが現実化した場合の壊滅的な影響も指摘されている〔注18〕。

　このシナリオにおける責任の帰属を構成することは容易でない。欺瞞行為が創発的に生じた場合、事業者の注意義務違反を認定するためには、欺瞞傾向の発現を「予見可能」であったと評価できるかが鍵となる。開発・訓練・展開の各段階で何をすれば十分な注意を尽くしたといえるかという基準の不在は、事後的な責任追及を困難にするとともに、事前的な抑止効果も損なう。製造物責任の枠組みで捉えるにしても、AI欺瞞行動が「欠陥」に該当するかの認定に際して、その判断基準そのものが欺瞞によって歪められている可能性が排除できない。

　本ブリーフが提案する「段階的展開前の信頼性検証義務」「独立監査を含む展開後モニタリング」「責任機構の拘束力ある構築」〔注19〕は、この基準形成のための議論の素材として参照に値する。

Ⅴ　むすびにかえて

　本ブリーフは、法律家にとって読み応えのある文書である。AIの「意図」を擬人化することへの自覚ある留保を維持しながら、欺瞞的な結果を生む行動が現に広く観察されているという事実を直視し、その分類・原因・リスクを体系的に整理している。

　法的な意味での「欺瞞」概念が要求する主観的意図と、創発的な欺瞞行動との間の緊張は、規制設計の根幹に関わる問題である。現行の自主規制と法的規制を組み合わせるアプローチが、検知・監視の構造的限界に直面しながらも最善の対応として模索されている状況は、規制がAIの能力向上に後追いする現実を如実に示している。法と技術の間の距離をどのように埋めるかは、今後のAIガバナンス論議において避けることのできない論点のひとつとなるであろう。詳細は原典をご確認いただきたい。何かの考えるきっかけになれば幸いである。

（マガジン）「AIと法雑感」

※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。
P.S. This is shared for academic discussion only.