ISO 31000 / EDPS『AIシステムのリスク管理ガイダンス』 / 「原則」を「リスク」に分解するということ雑感

0　はじめに

　生成AIを含むAIシステムの議論は、性能競争の段階を過ぎ、いまや「どう壊れるか」と「どう責任を引き受けるか」の段階に入った感がある。現場の感覚としては、モデルが賢くなる速度より、ガバナンス文書が増殖する速度の方が速い。そして、その分厚い文書群の多くは高邁な原則を掲げるが、現場が真に渇望しているのは「原則を守れ」というスローガンではなく、「何がリスクで、どこで壊れ、何を実装すればよいか」という具体的な分解図である。

　2025年11月、欧州データ保護監察機関（EDPS）が公表した『Guidance for Risk Management of Artificial Intelligence systems』は、その分解図をかなり露骨に提示する文書である。すなわち、データ保護の一般原則（公平性、正確性、データ最小化、セキュリティ等）を、AI開発・調達・運用の各局面で発生しうる具体的リスクへと「ほどき」、それぞれに技術的対策（controls/measures）を対応づける構成をとっている。法律文書でありつつ、実装の話をする。そこが面白い。本稿では、このガイダンスを補助線として、AIガバナンスにおける「原則からリスクへ」の翻訳作業について検討する。

1　問題の所在

　本ガイダンスがまず強調するのは、EU機関等（EUIs）が個人データを処理するAIシステムを開発・調達・配備すること自体が、基本権（プライバシーとデータ保護を含む）に対するリスクを伴うという冷徹な事実である。そのうえで、EUDPR（EU機関等に適用されるデータ保護規則）上のアカウンタビリティ原則の下で、EUIsはリスクを特定し、緩和し、そして「緩和したことを示す」責務を負うとされる。

　ここで重要なのは、AIシステムが複雑なサプライチェーンの産物であり、複数主体が異なる立場で個人データを扱う点である。現代のAI開発において、単一の組織がデータ収集からモデル学習、ファインチューニング、デプロイまでを完結させることは稀である。多くの場合、基盤モデルのプロバイダー、アプリケーションの開発者、そしてデプロイする組織（コントローラ）が分断されている。責任が分散するほど、説明責任（accountability）は自然と消滅する圧力を受ける。だからこそ、説明責任は「念じる」ものではなく、システムの一部として「設計」されなければならない。

　なお、本ガイダンスは、EDPSがAI Act上の市場監視当局としてではなく、データ保護監督当局として示す指針であると明示されている。AI規制の文脈に接続しつつも、軸足はあくまでデータ保護法制にある。したがって、ここで語られるリスク管理は、組織の利益を守るためのものではなく、データ主体の基本権を守るための手続きであることを再確認する必要がある。

2　ISO 31000でデータ保護を読む

　本ガイダンスは、リスク管理のデファクトスタンダードであるISO 31000:2018の枠組みに全面的に依拠し、リスク管理を、リスク特定→分析→評価→対応（treatment）という一連の反復プロセスとして捉える。

　特筆すべきは、本ガイダンスが射程に入れるのは、主として「リスク特定」と「対応」であり、発生確率や影響度の評価は各組織の文脈に委ねるという立場を明確にしている点である。ここに、安易なチェックリスト化への抵抗が見て取れる。リスクの重みは、プロダクトの属性（モデルのパラメータ数やアーキテクチャ）だけで決まらない。利用文脈、入力データの性質、組織の権限構造、外部委託の範囲といったコンテキストの中で初めて形を持つからである。

　また、リスク概念の定義も興味深い。EDPSはリスク源（risk source）、事象（event）、結果（consequence）、統制（control）という分解を採る。そして「事象」を、「特定の法規定の不遵守」として把握する。つまり、基本権侵害という抽象的なリスクを、いったん「法令遵守リスク」としてモデル化するのである。もちろん、遵守＝無害ではない。コンプライアンスは倫理の床であり天井ではないからだ。しかし、評価と説明の基準点をどこに置くかという実務的な問題に対し、「まずは明文規定を代理変数にする」という割り切りは、法律家とエンジニアの共通言語を作る上で極めて有効なプラグマティズムであると言える。

3　「AIシステム」と「AIモデル」を峻別する

　法律家がつまずきやすい落とし穴として、本ガイダンスは「AIシステム」と「AIモデル」を明確に区別する。AI Actの定義を参照しつつ、モデルはあくまでパラメータの集合としての数学的表象（mathematical representations）であり、それ単体ではユーザや環境と相互作用できない、ゆえにシステムではないと断じる。

　APIで提供される基盤モデル（LLM等）を使っていても、そこに権限設計、ログ収集、UI、ワークフロー、追加のルールベース、RAG（検索拡張生成）等が結合した瞬間に、それは「システム」としての挙動を持ち、リスクもまたシステムとして立ち上がる。モデル単体の性能評価（ベンチマークスコア）と、システム全体のリスク評価は別物である。

　この区別は、調達（Procurement）局面で特に刺さる。ベンダーから「モデルの性能表」や「学習データの概要」だけを受け取って安心するのは危険である。問われるのは、当該モデルが自組織の処理活動の中で、どの入力を受け、どの判断を補助し、誰がどこで介入（Human-in-the-loop）できるのかという、システムの結合点である。本ガイダンスが、開発だけでなく「調達」のプロセスにおけるリスク管理を詳述している点は、AIを利用するユーザー企業の担当者にとって福音となるだろう。

4　解釈可能性・説明可能性は透明性と別物である

　本ガイダンスの核の一つは、解釈可能性（interpretability）と説明可能性（explainability）を、すべてのデータ保護原則遵守の横断的前提（sine qua non）として置く点にある。また、それらを「透明性（transparency）」と安易に混同するな、と釘を刺す。

　EDPSの整理によれば、解釈可能性・説明可能性は、コントローラ（管理者）が自らのシステムの作動を理解するための概念である。対して透明性は、データ主体に対して意味ある情報を提供する義務（EUDPR 14条等）である。前者は後者を支える技術的・認識的基盤だが、前者があるからといって直ちに後者が満たされるわけではない。内部的にモデルの挙動が解析できても、それをユーザーにわかる言葉で伝えられなければ透明性はないからだ。

　ここで面白いのは、LIMEやSHAPといった技術的な説明可能性ツール（XAI）を挙げつつも、最優先の対策として泥臭い「文書化」を置く点である。モデルの種類、訓練データの由来、集団間での精度差、潜在的バイアス、限界等を、理解可能な形で残せ、と言う。説明可能性とは、高価な可視化ツールの導入ではなく、まずは「なぜそのモデルを選び、どう育てたか」という責任の履歴を残す作業である、という含意がある。

5　四原則のリスク分解と「技術的措置」の顔つき

　本ガイダンスの真骨頂は、公平性、正確性、データ最小化、セキュリティという四つの原則を、具体的なリスク事象へと分解し、技術的措置をマッピングしている第5章にある。

　公平性（Fairness）では、バイアスの種類ごとに精緻に切り分ける。訓練データの品質不足、訓練データの偏り、過学習、アルゴリズム・バイアス、解釈バイアスといった具合である。ここで「公平性」の規範的厚みは、どうしても「計測と是正」に引き寄せられる。これはある種、「測れないものは管理できない」という技術の暴力性を孕む。しかし、測定可能な部分を最大限測り、その限界と残余リスクを文書化して初めて、公平性という規範概念は組織の手続に降りてくる。

　正確性（Accuracy）では、法的意味としての「個人データが正確で最新であること（事実としての正確性）」と、統計的意味としての「モデルの当たりやすさ（statistical accuracy）」を峻別し、後者を「統計的正確性」と呼び分ける。ここは法律家向けの注意書きとしてよく効いている。誤りの原因は、入力データ、モデル、運用環境（データドリフト）、そしてLLMの幻覚（Hallucination）が混ざり合う。特にデータドリフトに対する「継続的なモニタリングと再学習」という運用対策は、一度入れたら終わりの従来のITシステムとは異なるAI特有のガバナンスコストを示唆する。

　データ最小化（Data Minimisation）では、「多ければ多いほど学習できる」という機械学習の直感と、「必要最小限」という原則の衝突が正面から扱われる。ここでは、無差別な収集に対する「データサンプリング」や「合成データ（Synthetic Data）」の活用が提示される。全量データを使わずとも、統計的に代表性のあるサブセットでモデルは訓練可能であるという技術的指摘は、コンプライアンスと性能のトレードオフを解消する鍵となるかもしれない。

　セキュリティ（Security）では、モデル反転（Model Inversion）、メンバーシップ推論（Membership Inference）、学習データの「吐き戻し（Regurgitation）」、データ汚染（Poisoning）等、AI特有の脅威が前景化する。これらは従来のファイアウォールでは防げない。差分プライバシー（Differential Privacy）や摂動（Perturbation）といったプライバシー強化技術（PETs）の適用が推奨される。

　さらに、データ主体の権利（アクセス、訂正、消去）の実装可能性についても論じられる。一度ニューラルネットワークの重みに溶け込んだ個人データを「特定」し「消去」することは極めて困難である。本ガイダンスは、メタデータの保持や検索ツール、さらには機械的アンラーニング（machine unlearning）といった萌芽的な技術にも言及しつつ、それが不可能な場合の出力フィルタリングまで視野に入れる。権利を実現するための技術的コストは、かつてないほど高まっている。

6　雑感

　本ガイダンスは、列挙するリスクと対策が網羅的ではなく、EUDPR上の遵守義務を代替しない旨を明確にしている。それでも、現場はこれをチェックリストにしたがるだろう。人間は複雑さに耐えられないからである。

　したがって、この文書の使い方は逆であるべきだ。既成のチェックリストに自社のAIを無理やり当てはめる前に、まず自組織のAIシステムの結合点（入力、出力、権限、監視、委託先）を描き出す。そのうえで「どのリスクが自分の結合点に刺さるか」をこのガイダンスから選び取る。そして、その「選び取りの理由」を文書化する。これこそが、将来の紛争や監査に耐えうる説明責任の最小単位となるはずだ。

　要するに、ガバナンス文書は、安心を得るための道具ではなく、責任の履歴である。EDPSの文書は、その履歴を「原則」という美しい言葉ではなく、「リスク」という生々しい事象から書け、と言っているように見える。AIシステムが社会実装されるということは、魔法が解けて、泥臭い管理の対象になるということだ。このガイダンスは、その泥臭さを引き受けるための、極めて実務的な手引書といえるだろう。

（参考）国際規格標準化・認証 ISO/IEO

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。