AIと医療 / 生成AIと「三者的ケア」――診察室における透明性と責任の再構成

 　今回は以下の雑感の続編的位置付けを有する。以下をお読みいただきたい。いずれも1分で読める内容である。

　生成AIが臨床相談に入り込む。比喩ではなく文字どおり、診察室の会話の中に「第三者」が座り始めた、ということである。医師と患者の二者関係（dyad）に、AIが介在し、説明の組み立て方や意思決定の手触りを変える。Fraile Navarroらはこの変化を、医師・患者・AIの三者で説明を共作する「三者的ケア（triadic care）」として捉える。そこでは臨床相談が、事実のやりとりから、説明の共同制作へと重心移動する（注1）。

　法の視点から見ると、ここで起きているのは単なるツール導入ではない。認識論（どうやって「正しさ」を確かめるか）の変化である。ウェブ検索はリンクの束を返すが、チャットボットはもっともらしい推論を自然言語で合成して返す。推論は滑らかだが、検証可能性は部分的である。すると、医師にも患者にも、判断の根拠が「追える」場合と「追えない」場合が混在する。追えないとき、情報は検証対象というより解釈対象になる。医療はもともと不確実性の技芸であるが、AIはその不確実性を別の形で増幅する。

　このとき最初に壊れやすいのは信頼である。AIの利用を語らないまま診療が進むと、患者はAIの影響を知らず、医師も患者が何をAIで調べたのか把握できない。両者が同じ言葉を使いながら別の理解に到達する危険がある。Fraile Navarroらは、患者側の利用を引き出すために、短く非難のない問いかけ、たとえば「AIで調べたことはあるか。一緒に見直そうか」が有効だと述べる（注1）。ここには、透明性を「告白」ではなく共同作業の入口として設計する発想がある。

　ただし透明性は万能薬ではない。「何でも同意を取る」路線は、同意疲れを招き、結局は形骸化するリスクを孕む。そこで必要になるのが比例性である。どのAI利用が患者の自己決定に実質的影響を及ぼしうるか、どの場面で患者が行動できる余地があるか。リスクが大きい利用（治療変更の提案や予後予測など）では説明と同意の厚みを増やし、単なる定型文の下書きのような場面では軽い透明性と共同レビューで足りる、という整理である（注1）。法学的な悪癖として「全面開示」を唱えたくなるが、現場で機能しない規範は規範ではない。

　比例性を支えるのは、実は「最低限これだけは見えるべきだ」という線引きである。Fraile Navarroらは、ケアに用いられる生成AIツールについて、目的と検証、既知の限界、データと公平性（どの集団で性能が落ちるか）、更新とバージョン管理、ガバナンスとデータ利用（監査可能性やインシデント報告ルート）といった最小の透明性基準を掲げる（注1）。このリストは、説明責任の抽象論を、調達・運用・監督の実務に接地させる。とりわけ更新とバージョン管理は、生成AI時代の見落としやすい地雷である。医療機器の世界ではロットや改修履歴が当然のように追えるが、ソフトウェアは更新が静かに入り、挙動が変わる。挙動が変わったのに説明が変わらない、という事態が起きると、同意も監査も空洞化する。

　さらに、商用システムの透明性の欠如は、責任論を複雑化する。市場で開発される製品は、訓練データや更新、データ再利用方針の可視性が限られがちで、製品変更が安全手続を追い越しうる（注1）。この変更の速度は、過失の有無とは別に、事故の説明可能性を奪う。しかも商用インセンティブは、間接的に診療を特定の方向へ押しうる。高度専門施設のデータで訓練されたシステムが、一般診療の場で防衛医療を促す、といったねじれである（注1）。責任の帰属だけを議論しても、設計の誘導力が見えなければ、同じ事故が再発する。

　次に問題になるのは責任の所在である。医療訴訟の世界では、診療録はしばしば「事後の真実」を構成する。AIが助言し、医師が採用・修正・棄却したのに、その痕跡が残らないなら、後から検証も学習もできない。Fraile Navarroらは電子カルテに「AI関与」欄を設け、ツール名、目的（相互作用チェック、鑑別診断、記録作成など）、医師の対応（採用・修正・却下と理由）を軽量に記録する提案をする（注1）。これはガバナンス論であると同時に、証拠論でもある。責任を「誰かに負わせる」ためではなく、責任を「追える」形に戻すためのインフラであろう。

　ここで重要なのは、記録が官僚的な紙仕事にならない設計である。電子カルテがクリック地獄になり、臨床家の燃え尽きを招いた歴史を思い出せばよい。Fraile Navarroらは、人間―AI相互作用の設計原則として、なぜその推奨が出たのかを示し、確信度（不確実性）を可視化し、訂正を許し、安全に共有できることを挙げる（注1）。結局、透明性とは文章の長さではなく、共同で点検できる画面の設計に宿る。

　この責任追跡可能性は、医師側の能力にも依存する。Lewisらは、生成AIを安全に統合するための三つの中核能力として、AIリテラシー、批判的統合（critical integration）、患者とのコミュニケーションを挙げる（注2）。AIリテラシーとは、仕組みの暗記ではない。実際に触れ、同じ問いでも言い回しで出力が変わる癖や、幻覚（hallucination：事実誤認や根拠薄弱な出力）を起こす局面を身体で知ることである（注2）。Lewisらが強調する「ジャギッド・フロンティア（凸凹の境界）」という比喩もここに刺さる。AIは難しい文章を巧妙に書けるのに、単純な計算や常識で転ぶことがある。信頼は一括ではなく、タスク単位で管理すべきだという教訓である（注2）。

　そして批判的統合とは、AIの出力を結論ではなく「情報に裏打ちされた仮説」として扱い、オートメーション・バイアス（自動化に引きずられる認知の偏り）を自覚しながら、自分の臨床判断を残す訓練である（注2）。この能力は、プロンプトの作法にも及ぶ。漠然と「紹介状を書いて」と頼めば、漠然としたものが返る。構造と要点を指定して初めて、臨床文書として使える下書きになる（注2）。生成AIは万能の秘書ではなく、共同執筆者だという感覚が必要である。

　最後にコミュニケーションは、AIを「使ったか否か」を告げるだけでは足りない。患者が理解できる言葉に翻訳し、異論があるときは理由を説明し、選択肢（オプトアウトを含む）を提示することで、三者的ケアを共同意思決定に接続する技術である（注2）。患者がAI生成のメモや症状整理を持ち込むことは、歓迎されるべきである。他方で、その内容を臨床判断の文脈に置き直し、妥当性を点検する作業を省略してはならない（注2）。ここで医師が不機嫌になると、患者はAI利用を隠す。隠されると、三者的ケアは水面下で暴走する。

　さらに厄介なのは、能力が時間とともに摩耗する可能性である。AIに認知作業を委ね続けると、技能の劣化が起きうる。Lewisらは、パイロットが自動操縦の時代にも手動操縦を訓練するように、臨床医も意識的に「AIなしで考える」練習を残すべきだと述べる（注2）。ここには医療者教育の問題があると同時に、標準治療（standard of care）の再定義の問題がある。AIが「普通に使われる」環境で、使わない医師は過失なのか。逆に、使う医師はAI依存で過失なのか。現時点で答えは出ない。だが少なくとも、判断過程の可視化と、AIの限界を前提にした運用基準がなければ、裁判所も規範を組み立てられない。

　結局、生成AIに対して法ができる最大の仕事は、「正しさ」を保証することではない。正しさの保証は、もともと医療にも法にも過大な期待である。法が整えるべきなのは、誤りを見つけ、異議を申し立て、学習するための観察可能性（observability）である。AIの目的、限界、更新、データ取扱いが最低限わかり、診療のどこに入ったかが記録され、患者と医師が同じ画面を見て共同で吟味できる。三者的ケアとは、AIを「第三の権威」にすることではなく、第三者を含む会話を、なお人間の共同作業として成立させる試みである。その成否は、技術の性能よりも、透明性と責任の設計にかかっている。

　加えて、公平性の観点がある。モデルの性能は患者集団によってばらつきうる。AIの提案を却下した理由を短くでも記録することは、安全学習だけでなく、どの集団でAIが当たりにくいかを可視化し、結果として医療格差を監視する手がかりになる（注1）。Lewisらも、訓練データが特定地域・特定言語・高資源医療の文脈に偏ると、別の現場では「もっともらしいが不適切」な推奨が出ると指摘する（注2）。三者的ケアは、便利さと引き換えに、社会の歪みを診察室へ持ち込む装置にもなりうる。

　そして最後に、臨床知の位置づけがずれる。Fraile Navarroらは、臨床専門性が「答えを生産すること」から「AIが生む助言を、患者の価値観と経験の文脈で解釈すること」へ移ると述べる（注1）。この移行は、人間の尊厳という大きな言葉で飾る必要はない。むしろ実務的に、説明責任の単位が変わる、という冷たい事実として受け止めるべきである。知識が豊富だが検証が乏しい世界で、何を根拠に、どのように反論し、どこで保留するか。法はその作法を、当事者の会話の中に埋め込む仕事へ向かう。

　透明性だけでは、双方が完全に追えない推論に依存するという難題は解けない。それでも透明性がなければ、影響を測れず、学習もできず、責任の議論も空回りすることになる（注1）。生成AIが診療に入る以上、法は「AIを排除する」物語ではなく、「AIが入った後に壊れない関係」を作る物語を描くべきであるということは間違いない。

参考

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。