AIのその出力は信頼できるのか？ [ChatGPTへの徳認識論、認識論的外在主義的アプローチ ]

ChatGPTをはじめとする大規模言語モデル（LLM）の発展がめざましい今日、私はある問いに直面している。

「ChatGPTの発言は本当に正しいのか？その信頼度はどの程度か？」

最近では、かつてGoogle検索に頼っていたような感覚で、ChatGPTに質問を投げかけることが増えてきた。しかし、その出力をどこまで信用してよいのか、特にどのような分野に強みがあるのか――こうした判断基準を自分の中に持たなければならないと感じている。
なぜなら、いわゆる「ハルシネーション」という問題が示す通り、LLMは誤情報を出力するリスクを常に抱えているからである。

では、どうやって彼の能力（出力の正答率）分布を推定すればいいのだろうか。よく言われるベンチマークやIQテストの結果のような、能力を一次元に圧縮したものではなく、レーダーチャートのような正多角形のような分布を推定しないといけない。

答えはシンプルである。

「たくさん触って、AIとのインタラクションのデータを自分の中で溜めること」

ここで話を少し逸らす。

　そもそもこの話の前に、「知識とは何か」、「知識であるための条件は何か」という哲学的な問いに立ち向かう必要が出てる。

　「認識論」の詳しい話は割愛するが、ここで私は徳認識論の立場を採用したいと思う。

徳認識論（認識主体者が持つ認識的徳（認識能力）の作動の結果として獲得された真なる信念が知識であるという立場）の観点から見ると、ChatGPTが得意な分野・ジャンル・形式に関する質問の答えは知識としていいと言える。（ここで知識としていいのは認識的外在主義の立場である。）

認識的外在主義の立場: 実際に今まで同様の質問をして正しかったんだから、内部に理由なんて必要ないだろ。AIにはその種の問いに正しく答える徳が備わっている。だから、知識と呼べる。

認識的内在主義の立場: それが知識であるという内部の理由がない。その出力を正当化するものが何もない。だから、知識とは呼べない。

簡単にいうと、教科書に書いてあることは疑わずに、知識と呼ぶことができるよね。でも怪しいwebサイトに書かれてることだと知識と呼べるか怪しいから他のサイトや教科書を参照して確かめるよね。ってだけです。
（*教科書には正しいことが書かれているという徳が備わってるから。）

話を戻す。ではなぜ、
「たくさん触って、AIとのインタラクションのデータを自分の中で溜める」
これが、重要であるのか。

それは、このデータが豊富であればあるほど、「ChatGPTにその種の問いに正しく答える徳が備わっているかどうか」を検証できる機会が多くなり、両者が比例関係にあるからである。

統計学において、サンプル数 N が多いほど、観測される分布は真の分布に近づく。

同様に、ChatGPTの徳（能力）を表した真の分布（正多角形のレーダーチャートのようなもの）を推定するためには、多くのやり取り＝データの蓄積が必要不可欠なのである。

レーダーチャートが推定できたら、最初の問い

ChatGPTの言ってることは正しいのか？信頼度はどのくらいか？

への自分なりの答えが見えてくる。このジャンルには向いてないな。こういう形式は得意だな、といった感覚が掴めてくる。

つまり、

たくさんChatGPT（AI）を使う（いろんな領域や形式で）
➡️インタラクションのデータが蓄積される（データを溜める段階では、真偽をちゃんとチェック）
➡️ ChatGPTの得意不得意が見えてくる
➡️ ChatGPTの徳が推定される
➡️ 徳認識論的に、ChatGPTの得意な形式・分野に関する質問の出力を知識と呼ぶ、それを信頼することが可能になる

最後に簡単に例を

友達からLINEで魚の画像が送られてきたのですが、自分の目では、この魚は何の魚なのかわかりません。
そこで、友達に聞くのと同時に（これが教師データとなります）ChatGPTにも聞きました。

そうすると、答えが一致したのです。

この結果から、私のデータベースには以下のことが蓄積されました。

・ChatGPTの画像処理能力は物体の細かい特徴を捉えることができるほど高い。
・ChatGPTはある程度有名な魚の特徴を知識として備えている。
・ChatGPTは複数のリストを画像から読み取ることができる。（イトヨリダイだけで処理を止めることなく、奥のカサゴまで推定できた）
・正解だと認識したもの（カサゴ）を断定するのではなく他の可能性（アカハタ）も考慮して伝えてくれる。
（・魚が保存されてる白い容器=クーラーボックスであるという推論が可能）

このデータによって、私の推定する能力分布が真の分布に少し近づきました。私は次に添付画像に関する質問をしたり、魚に関する質問をしたりするときに、ChatGPTを今回より信頼して使うことができます。これが積み重なり、どこかで信頼の度合いがある閾値を超えたとき、「ChatGPTによる出力だから知識である」と自信をもって言える日がくるかもしれません。

もちろん、データの溜め方は色々あります。課金できるお金がなくて体験できてないサービス（500ドルするDevinなど）はYoutubeのデモ動画（2時間くらいのノーカットのやつがおすすめ）でも擬似的に体験できます。しかし、デモ動画はうまく行った事例のみを上げるため、実際の能力とギャップがある可能性があるのも事実です。（特にXでの投稿）ここら辺のリテラシーも備えるべき、非常に重要な能力であると言えるでしょう。

また、基盤モデルのアップデートとともに、私のデータベースもアップデートしないといけません。例えば、o1→o3の変化で『ChatGPTの徳（能力）という「真の分布」（正多角形のレーダーチャートのようなもの）』は変わったため、私も再度推定をする必要がありました。しかし、一度のモデル更新で分布が大きく変わることは稀なため、積み重ねてきたデータが無駄になることはありません。

とにかく、AIをさまざまな場面で積極的に使い、インタラクションを通じてその能力値の「推定分布の精度」を高めていくこと——
それこそが、AIを本当に使いこなすための必要条件であると私は思うのです。