AIによる疾患鑑別のpit fall～個人情報の扱いと精度の問題～
最近，SNSでテキスト生成AIに入れて鑑別疾患を挙げさせているという使い方をしている医師のポストを見かける．特にChatGPTの推論モデルであるo1-proやo3は非常に鑑別能力に優れていると評価されている．
確かに便利ではあるものの，その精度の高さはユーザーが入力する情報やプロンプトの影響を大きく受けるため，注意が必要である．少なくとも情報が整っている症例報告論文を読み込ませての疾患鑑別パフォーマンスと，臨床におけるリアルタイムでの鑑別のパフォーマンスは別と考えるべきであり，AIリテラシーが問われるところである．以下ではAIによる疾患鑑別の注意すべきpit fallを述べる．
1．個人情報の問題
言うまでもないことであるが，個人情報への配慮はかなり必要である．AIに疾患鑑別目的で情報を入力する際は，極力情報を一般化しての入力に徹する必要がある．どうもSNSを見ている限り，ガイドライン違反を犯してしまっている医師のポストが目につく．AIを利用する上では以下のガイドラインには必ず目を通しておくべきである．実は思っている以上にこのガイドラインの規定は厳しい．
厚生労働省の『医療情報システムの安全管理に関するガイドライン』
経済産業省の『医療情報を取り扱う情報システム・サービスの提供事業者における安全管理ガイドライン』
同時に，医師（あるいは他の医療職もであるが）個人での使用のため，便利だからと無法地帯と化している可能性が高いことから，各医療機関は早急に院内規定でAI使用についてルール作りをすべきである
（1）医師個人のスマホやPCで一般化していない患者情報をAIに入力した時点でアウト
おそらくこれをやってしまっている医師は多いのではないだろうか．先日も「血液検査データをスマホで撮ってChatGPTに鑑別させている」という内容のポストを堂々と挙げている医師がいたが，論外である（個人識別情報が写っている場合はガイドライン違反どころか違法である）．
基本的に，病院内のローカル環境で動かすAIではない限り，医師個人のデバイス（スマートフォンやPCなど）で患者情報をAIにそのまま入力する行為は，その時点で「医療情報の持ち出し」かつ「第三者提供」にあたり，たとえ個人識別情報をマスクしていたとしてもガイドライン違反行為である．
ガイドライン上許容される入力範囲は，個人識別情報を含めないことはもちろんのこと，数値の区分化や，症状と診療科レベルで必要最小限かつ再識別リスクの低い粒度にとどめることとなっている．よって，当然ながらカルテ情報のそのままのコピペや撮影写真でのAI入力は違反である．
また，そのような許容される入力情報加工を施していても，医師個人のデバイスからの入力は（第三者提供に当たらないにしても）グレーゾーンで， 「匿名性の妥当性を検証し記録」 の義務化が必要となる．匿名加工要件は思った以上に厳しいので，必ずガイドラインで参照して検証を行う．
よって，個人のデバイスからAIに疾患鑑別を依頼する場合は，完全に一般化された臨床パターンに落とし込む必要がある．
ただし，これはデータが薄くなることも意味し，AIの精度に影響がでる可能性はある．このような「安全⇆精度トレードオフ」を埋める現実的にやりやすい対策としては段階的開示が挙げられる．具体的には逆質問生成を必須にするプロンプトも追加し，それに対して区分化値など識別不可能な情報で返すというやり方である．これにより情報最小化と識別不可の原則を維持しつつAIの精度を上げられる．
（2）医療機関内でのルール作り
おそらく，日本のほとんどの医療機関では患者情報取扱いにおけるAI使用に関するルール作りや整備をしていない．このあたりは，AI普及が遅れている分，AIリテラシーも不十分である．院内の人間だけで策定するのではなく，サイバーセキュリティーの専門家やAIの専門家の意見も取り入れるべきである．
外部 AI を医療現場で活用する場合，組織的統制・技術的統制・運用的統制の３層をそろえることで，ガイドラインが求める「責任分界・安全管理義務」を満たしつつ実務負荷を減らせる．
（3）政府主導の医療AIの利用
現在，戦略的イノベーション創造プログラム（SIP）として，医療機関のための内閣府主導の診断鑑別支援目的での国産AIが開発中で，約40の研究機関・民間企業が2024年9月に開発に着手し，パラメータ数1720億の，医療用としては世界最大規模のAIとなる見込みである．
最近発表されたベンチマークとしては，医師国家試験で世界トップクラスの成績であったとのことである．近く公開し，医療機関での診療支援や業務効率化に活用することを想定しているため，こちらを利用するのが最善と思われる．
2．疾患鑑別におけるAIの精度の問題
現在，o3のようなサイエンスにも強い高精度の推論モデルが登場し，非常に優れた鑑別診断能を持つまでに至っている．だが，当然ながら精度的問題が解決したわけではないし，そもそもAIを利用する医師が，そのAIがはじき出した鑑別を正しいかどうか判断することができないとなれば様々なリスクがついてまわる．
①ベースライン性能の問題
o3などの推論モデルはかなり高精度になっているが，現時点で医療現場での鑑別診断における公的な成績は出ておらず，個々のユーザーの評価にとどまるため未知数な部分がある．
②データ分布とバイアス
トレーニングは米・欧の電子記録や英文教科書が中心であり，アジア圏・小児・希少疾患・社会的弱者で誤診しやすい．実際に小児では成人に比べて診断能が半分程度の精度しかなかったとの報告もある．
③ハルシネーション
推論モデルでもハルシネーションが起こる．特に推論エラーに関しては専門家ですら騙されるレベルで注意が必要である．なお，最新推論モデルとしてo3を利用する医師は多いと思われるが，実はo3はハルシネーション発生率がo1-proよりも2倍多いことをOpenAIがシステムカードで公表している．
④フェイク自信
AIの性質として，間違った内容や推論エラーが起こってても，流暢な言語でよどみなく文章化するため，見かけ上自然で嘘を言っていないように見える現象が起こる．ハルシネーションを起こした回答を信じてしまう人はこの流暢さに騙されやすい．
⑤ランキング性能のばらつき
AIはTransformerにより，確率的に文章を生成する．Top-10 に正答を含む率は高いが順位付けが不安定であり，鑑別リストの上位に来ないと見落とされる．
⑥知識カットオフ
AIは最新知識を有さない．Webアクセスでカバーできるといえど，訓練コーパスでの記憶にかなり左右される部分があるため，どの時点までの知識を有するか次第では，最新の疾患知識がないゆえに取りこぼしが起こる可能性がある．
⑦希釈効果による致命的疾患見逃し
確率 vs コストのミスマッチである．AI が長い鑑別リストを返す結果，頻度が低い重大疾患の相対的重みが薄まってしまい，致命的疾患を見逃すリスクがある．
3．AIを扱う医師側の問題による精度低下
AIの出力精度はユーザーの入力内容に大きく依存するが，そのことをあまり理解できていないがゆえに，AIの精度以上に盲点になりやすい．また，AIの出力した回答を疑わずに盲信してしまうのも問題となる．
①情報欠落
最も懸念されかつ多発する現象である．症例報告論文をAIに読み込ませて解決させるのと，実臨床でのリアルタイム症例を解決させるのとでは前提条件が全く違う．症例報告論文では，
必要情報が完結に整理され「解答に必要な変数」がほぼ欠落しない．
教科書や PubMed 抄録などと文体・語彙が近く，事前学習コーパスと分布が一致しやすい
推論は「パターン照合＋確率加算」なのでトークンが揃うほどスコアが鋭く収束する
これに対し，リアルタイム症例では
時系列・陰性所見（存在しない所見）の省略が多く，尤度計算に必要な条件が消える
｢なんとなくしんどい｣などラベルの無い語句がトークン空間で拡散する
情報量が少ないほど鑑別リストが指数的に肥大し，Top-k精度は急降下する
特に問題となるのは陰性所見有無である．医師は診断鑑別の際に，陰性所見よりも陽性所見を重視しがちな傾向がある．このため，AIに鑑別を指示する際に「疾患を示唆する陰性所見は書かない」という現象が起こる．その結果，陽性所見のみに引っ張られ，例えばCRP高値でAIはかなり感染症を過大評価する方向に引っ張られてしまう（AIは巨大テキストから共起確率を学習しているため，情報が不足すると「発生頻度が高い疾患」へ確率が流れやすい）．自然言語入力では「記載がない＝所見なし」と解釈できない．
また，自分の専門外についてAIに鑑別を依頼する医師をSNSで散見するが，当然ながら専門外ゆえに何の情報（検査項目や身体所見，経過など）が足りていないのかも判断できないため，情報欠落があることに気が付けない．
②自動化バイアス（盲信）
AIへの信頼度が極端に高く傾いてしまい，回答を盲信して誤診してしまうケースである．AIの出力する文章は妙に説得力があり流暢さも兼ね備えているため，受け手の信頼度が高まりやすく，誤診を疑わずに意思決定してしまいかねない．
これに対し，「専門外の医師が判断するよりAIの方がマシ」と考える医師もいるかもしれないが，そうだとしても，この盲信による誤診でプロセスが大きく偏り，追加検査や専門医への患者アクセスを遮断してしまうリスクがある．
③不要な検査によるノイズ
特に血液検査で多いが，不必要な血液検査検査（あるいは検査項目）を出してしまう医師は多い．情報欠落を防ぐために様々な検査を行なっても，その結果，臨床的意義をもたない異常値をいくつも拾い上げてしまい，それがノイズとなってAIの鑑別精度を下げてしまいかねない．これは専門外であればなおさらであろう．
④ブラックボックス説明不可
AIの推論過程はブラックボックスであり，そのプロセスは透明性に欠ける．結果，患者へ合理的根拠を提示できなくなる．
⑤誤答の放置で性能改善しない
AIの誤診ケースをラベル返却しないままだと学習フィードバックがなく同じ誤診が繰り返されてしまう．しかしながら，入力した医師が誤診に気が付けなければその修正がされることはない．
4．教訓となるRCT論文
2024年末にJAMA Internal Medicineに，医師がAIを併用しても診断成績は有意に向上せず，AI単独の方が成績がよかったというRCTがpublishされて話題になったが，なぜこういう結果になったかまで読みこまれておらず誤解を招かれている部分がある．
プロンプト設計の最適化ギャップ：
この研究では，研究者がAI（GPT-4）単独で回答させる際は，既存フレームワークを踏まえて反復改良したゼロショットプロンプトを一律に使用している．一方，医師は各自が即興で入力しており，モデル出力がプロンプト感度に左右された．さらに言えばこの状況は，AIが症例報告論文ベースで，人間がリアルタイムベースで比較しており，情報欠落も生じやすいため人間側が分が悪い．
医師側にプロンプトエンジニアリングの訓練が無い：
参加者には使い方のレクチャーを行わず，実臨床と同様に“とりあえず触ってみる”状況を再現した．このため質の高い対話を引き出せなかった可能性がある．
インターフェースが“矛盾点”を指摘しない：
現状のチャット UI では鑑別に合わない所見を自動でハイライトできず，反省的推論を深めにくい．モデル側が“不一致の特徴”を示す設計なら，人間の診断精度が上がる可能性がある．