AIは本当に理解しているのか？「ポチョムキン理解」と人間の知性との共通性│ショーンKや日本の首都にも通じる「それっぽさ」
はじめに
最近、「AIは本当に理解しているのか？」という問いに対して、MITなどの研究者が出した答えが話題になりました。彼らは生成AIが示す「もっともらしい答え」には、構造的な理解が欠けていることを示し、その状態を「ポチョムキン理解」と名付けました。
「ポチョムキン理解」とは、18世紀のロシアで実際には存在しない立派な村をでっち上げて女帝に見せたという逸話「ポチョムキン村」にちなんでこの研究チームが作った言葉です。AIの振る舞いはポチョムキン村のように外見は立派でも実体は空虚なのではないか、そんな意味合いが込められています。
この研究結果自体は私にとってあまり驚きではありませんでした。なぜなら生成AI（ChatGPT）とのやりとりを通じてこのような特長をすでに感じていたからです。多くのAIのユーザーも原理の理解や実体験を通じて気付いていることではないでしょうか？
より興味深いのは、それがAIに特有の問題ではなく、私たち人間にも共通するものということです。
第1章：「ポチョムキン理解」が投げかけたもの
MITらの研究によれば、AIは詩の韻律や形式についての説明をすることはできても、実際にそのルールに従って詩を創ることはできなかったそうです。ルールを知っているように見えても、それを使って創造することができない。まさに「理解しているふり」です。
にもかかわらず、私たちはAIの流暢な説明や自然な文章に知性を感じてしまいます。それはAIが私達そのように錯覚させているだけではなく、私たちがそれっぽさに弱いという、人間の認知構造の問題かもしれません。
この論文の研究者たちはもちろん、生成AIの原理を理解しているはずです。生成AIにとって詩のルールを「説明」することと、「創る」ことが別物であることは、専門家なら誰しも知っているはずです。
それでもあえて彼らがこの研究を行ったのは、単にAIの性能を評価するためではなく、「理解するとは何か？」という人間の知性のあり方そのものへの問いを、私たちに投げかけたかったからなのかもしれません。
AIは「それっぽく」話すことができるが、それは本当の理解とは違う
そして私たち人間は、その「それっぽさ」にとても弱い
だからこそ、AIを利用するときには慎重であるべきだ
同時に、「知性とは何か」を私たち自身が問い直すべきである
これらは論文中に明示されているわけではありませんが、詩作実験の設計や「ポチョムキン理解」という用語選び、人間向けベンチマークへの批判的な姿勢などから読み取れるメッセージです。
第2章：生成AIの仕組み│地形図上を転がるボール
以前に生成AIの仕組みを調べたとき、それを「意味空間という地形図の上を転がり落ちるボール」としてイメージするのが分かりやすいと感じました。以下に説明します。
生成AIは「意味」や「意図」を理解して文を作っているのではなく、ある文脈に対して「次に来るのがもっとも自然な語」を、学習によって得られた過去の言語使用の傾向から機械的に出力しているだけです。
その言語使用の傾向は「意味空間」という地形図のような形で内部的に記録されています。（地形図が3次元なのに対し、実際の言語空間は数万次元にもなるのであくまで比喩的なイメージです。）
生成AIの文章の生成過程の大まかなイメージは、意味空間という地形図の上にボールを置くようなものです。ボールは意味空間上の地形に沿って自然に転がっていき、その過程で次々と文章が生成されていくのです。
つまりそれらしい言葉や文章が出てくるのは意味空間の地形の影響によりそうなっているだけであって、ボール（生成AI）自身が能動的に地形図を読んでいるわけではないのです。
・ショーンK騒動との共通性
この仕組みを理解したとき、私はある人物のことを思い出しました。
10年ほど前に世間を騒がせたショーンK氏。
海外MBA取得、海外経営コンサル経験などの数々の肩書を持ち、知的で洗練された話し方も相まって大手メディアのコメンテーターなどに引っ張りだこの存在でした。
しかしある日、彼の経歴の多くは全くの虚構であったことが判明しました。
驚くべきことに経歴詐称が明るみになるまで、ほとんどの人は彼が「偽物」だとは疑っていませんでした。
ニュース番組などにおける、専門家を含む他の出演者とのやりとりが、あまりにも「自然でそれっぽかった」からです。
ショーンK氏が演じた「本物らしさ」を我々が見抜けなかったように、生成AIの「理解してるふり」を本物の理解と区別するのは非常に難しいのです。
第3章：「日本の首都は東京」に見る生成AIと私自身の共通性
また、以前ChatGPTに生成AIの仕組みについて質問していたとき、「日本の首都はどこか？」という質問を例に挙げて説明をしてくれました。
ChatGPT曰く、「日本の首都はどこか？」と問われたとき、生成AIは「日本の首都は東京」という辞書的な記憶を持っておらず、その都度、意味空間上で最も自然な語として「東京」という結果を出力している、と言うのです。
それを知ったとき、「そんな基本的な事実までいちいち文脈の自然さから判断しているの？」という驚きとともに、この仕組みに対する不安感を覚えました。
しかしその後、ふと気になって調べてみると東京を首都と定める明確な法律は存在しないということを知り、さらに驚くことになりました。
どこにも明文化されていないのに、実質的に首都として機能しており、皆も何となくそうだと認知している、という既成事実的な状態だったのです。
私はそれまで当然のように「日本の首都は東京と決められている」と思い込んでいましたが、実はそこに明確な根拠は無く、周りの雰囲気に流されていただけだったこと気づかされました。
これはMITらの研究のAIによる作詞の問題にも似ています。
AIが韻律のルールを説明できても自分で詩を作ることができなかったように、私は「日本の首都は東京です」と説明することはできても、その根拠やそうなった背景について説明する術を持っていなかったのです。
つまり、流れに従ってをそれらしい答えを出していたという点で、私の思考は生成AIやショーンK氏と同じ構造を持っていたのです。
おわりに
「ポチョムキン理解」に関するこの研究は、確かに現在のAIの限界を明らかにし、人間の知性との違いを浮き彫りにしました。
しかしこれまで述べてきた事例から考えたとき、AIと人間の知性との間に明確な境界線は引けるのでしょうか？
まず、全ておいて知識を深く理解した上で実践している人間などほとんどいません。多くの場合、曖昧な記憶、雰囲気、文脈、世間の常識などを手がかりに、その場で結論を導きながら日々何かを行っているはずです。
私たち人間にもポチョムキン理解的な側面があるのです。
けれどもそれは至って普通のことであり、立派な知の営みの形の一つだと思います。
科学技術もまた全てを完全に理解してきたわけではなく、未解明なことを抱えたまま、先人の知識の上に乗っかることにより発展してきました。
そもそも「本当の理解」とは、いったい何なのでしょうか？
1つ1つの問いの全構造を完全に把握し、矛盾なく説明できる存在。いるとしたら、それは神様だけかもしれません。
「ポチョムキン理解」は私たちにとても深い問いを投げかけているのかもしれません。
お願いとお知らせ
面白かったらスキやフォローしていただけると嬉しいです 。
気軽なひと言コメントでも大歓迎です 。
他にもこんな問いを掘り下げて記事にしています。ぜひ御覧ください。