【音声解説】汎用大規模言語モデル（LLM）が医療ベンチマークで専門的な臨床AIツールを凌駕

医療現場では、特定のタスクに特化した専門的な臨床AIアシスタントが急速に導入されています。
これらのツールは、汎用LLMよりも安全で信頼性が高いと宣伝されることが多い一方で、最先端の汎用モデルと異なり、独立した定量的な評価を受けることが稀であり、その性能に関する重要な証拠のギャップが生じています。
このような状況は、AIの出力が診断や管理の決定に影響を与える設定において、回避可能な臨床リスクをもたらす可能性があります。

このギャップに対処するため、Krithik Vishwanath氏らが率いる研究チームは、広く展開されている２つの臨床AIシステム（OpenEvidenceおよびUpToDate Expert AI）と、３つの最先端の汎用LLM（GPT-5、Gemini 3 Pro、Claude Sonnet 4.5）を比較評価しました。
評価には、医学的知識を測るMedQAと、臨床医の判断との整合性を測るHealthBenchを組み合わせた1,000項目のミニベンチマークが使用されました。

驚くべきことに、この評価の結果、汎用モデルが一貫して臨床ツールを上回ることが明らかになりました。特に、GPT-5は最高のスコアを達成しています。

医学的知識を問うMedQAの正確性において、GPT-5は96.2%を記録し、OpenEvidence（89.6%）やUpToDate（88.4%）といった臨床ツールよりも高い結果となりました。
また、専門家との整合性を評価するHealthBenchの平均コンセンサススコアでは、汎用モデル（平均91.7%）が臨床ツール（平均74.8%）を約1.23倍上回り、統計的に有意な優位性を示しました。

臨床ツールであるOpenEvidenceとUpToDate Expert AIは、完全性、コミュニケーションの質、コンテキスト認識、およびシステムベースの安全性の推論といった、臨床的に重要な多くの側面で遅れをとっていることが判明しました。
軸レベルの分析では、汎用モデルは完全性、コミュニケーションの質、コンテキスト認識において優れていました。
さらに、テーマレベルの分析でも、臨床ツールは緊急紹介や専門知識に合わせたコミュニケーションといったカテゴリーで最低スコアまたはそれに近い結果でした。

これらの結果は、臨床的意思決定支援のために市場に出ているツールが、フロンティアLLMに遅れをとっている可能性があることを示唆しています。OpenEvidenceやUpToDate Expert AIが多用する検索拡張生成（RAG）の仕組みは、間違った情報が取得されたり、基盤モデルとうまく統合されなかったりした場合に、モデルのパフォーマンスを損なう可能性があると指摘されています。

生成AIモデルが医療現場の意思決定に組み込まれるにつれて、宣伝されている性能と実際の性能との間の不一致は、回避可能な臨床リスクをもたらします。したがって、これらの技術を患者対応のワークフローに導入する前に、その限界、バイアス、および比較性能に関して、透明性のある独立した評価を行うことが緊急に必要とされています。

参考文献

Krithik Vishwanath, Mrigayu Ghosh, Anton Alyakin, M.S.E., Daniel Alexander Alber, B.S., Yindalon Aphinyanaphongs, M.D., Ph.D., Eric Karl Oermann, M.D. (2025). Generalist Large Language Models Outperform Clinical Tools on Medical Benchmarks.（プレプリント）

※この記事はAI共創型コンテンツです。
コンテンツ生成・要約：NotebookLM