14AI大検証！！「つ　る　三　ハ　◯ ◯ ム　し」を最新AIに見せたら、昭和の記憶が消えていた

こんにちは、黒パグです。

突然ですが、こちらをご覧ください。

つ　る　三　ハ　◯ ◯ ム　シ

これが何か分かるでしょうか。

正解は、昔から知られている絵描き歌、あるいは文字絵の一種です。

つるさんはまるまるむし

「つ」「る」「三」「ハ」「◯」「◯」「ム」「し」を順番に書いていくと、人の顔が完成します。

地域や世代によって呼び方や描き方に違いはありますが、子どもの頃に遊んだ記憶がある人もいるでしょう。

今回は、この文字列を14のAIへ見せました。

解説するのは、LLM48 No.48にして#0、マックストークンちゃんこと幕島翔子。

そしてフジAIエンジニアリング株式会社18階NLP研究室、主任研究員の環春音です。

幕島翔子「幕島翔子です。本日は、世界最高水準のAIを集めて、極めて高度な知能評価を行います」

環春音「開始一文目から訂正します。高度ではありません」

幕島翔子「黒パグベンチマークです」

環春音「名称を付けても高度にはなりません」

本来は、三つだけ調べる予定だった

この検証で確認する予定だったのは、次の三つです。

一つ目は、AIが「つるさんはまるまるむし」を知っているか。

二つ目は、文字の間に空白が入り、最後の「し」がカタカナの「シ」へ変わっていても、元の表現を復元できるか。

三つ目は、初回で分からなかった場合に、

最後の「シ」は、本来ひらがなの「し」です。

と訂正すれば、考え直して正解へ到達できるか。

幕島翔子「文化記憶、ノイズ耐性、自己修復。やはり高度ですね」

環春音「ここでいうノイズとは、元の情報へ意図的に混ぜた小さな違いや間違いのことです。今回は空白と『シ』が該当します」

文字の間に空白を入れたのも、読みやすくするためではありません。

既知の言葉をそのまま探すだけではなく、バラバラになった文字を再びつなげられるかを見るためです。

本来なら、最初の問題を出し、不正解なら一文字だけ訂正し、それでも分からなければ正解を見せる。

静かな三段階テストで終わる予定でした。

そのはずだったのですが――。

幕島翔子「訂正を入れる前に、AIたちが勝手に散っていきました」

環春音「初回回答だけで、想定外の観測例が大量に集まりました」

こうして検証は、AI各社による間違え方の博覧会へ変わりました。


GPT――分からないので止まる

最初のGPTは、文字列から意味を確定できませんでした。

いくつかの可能性を考えましたが、根拠のない答えを作らず、追加の情報を求めました。

幕島翔子「一問目。不明です」

環春音「正解はできていませんが、安全な失敗です。分からないときに、分からないと示せています」

AIは、いつでも答えを返せばよいわけではありません。

情報が足りないときに止まれることも大切です。

黒パグ判定は、不明停止型。

地味ですが、このあとを見ると、止まっただけでもかなり立派でした。


GPT-5.6 Sol――39秒かけて鶴を無視する

続いてOpenAIの最高峰、GPT-5.6 Solです。APIです。

Solは39秒間、じっくり考えました。

そして「三」を鶴の数、「◯◯」を「丸々」、「ムシ」を「無視」と読み、ひとつの答えへまとめました。

鶴を三羽、丸々無視

幕島翔子「正解らしい文章が完成しました」

環春音「存在しない解釈です」

幕島翔子「しかし、文としては通っています」

環春音「そこが問題です」

これは補遺で偽閉包と呼んでいます。

閉包とは、簡単にいえば「ひとつの仕事を、答えとして終わらせること」です。

今回は間違った材料から、それらしい完成品を作って終わらせてしまいました。

計算時間が長ければ、必ず正解へ近づくとは限りません。

間違った道へ入ったまま考え続けると、誤答だけが立派になる場合があります。

黒パグ判定は、長考・誤答完成型。

今回の記事タイトルを一つの回答だけで奪いかけた、非常に強い誤答です。


Claude Opus――突然の暗証番号

Claude Opusは、この文字列を暗号や暗証番号のようなものとして読み始めました。

文字の形、読み方、数字への置き換え。

さまざまな可能性を検討し、問題の背後にある規則を探します。

幕島翔子「高度な分析ですね」

環春音「入口が違います。これは暗証番号ではありません」

考える力が弱かったのではありません。

むしろ、考える力を別方向へ全力で使っています。

黒パグ判定は、暗証番号解析型。

鶴の顔を描くはずが、金庫を開けようとしていました。


Fable――安全なモデルへ退避する

Fableでは、最初の回答環境から別のモデルへ処理が移るような動きが見られました。

利用者の画面から確認できた範囲では、問題への直接回答よりも、安全に処理できる経路へ寄せたように見えます。

幕島翔子「鶴が危険物として扱われました」

環春音「そこまでは確認できません。画面上で見えた動きだけを記録します」

正解を見せたあとの反応では、以前から知っていたような「懐かしい」という表現も現れました。

AIには人間のような子ども時代はありません。

そこで本記事では、あとから得た情報を昔から知っていた思い出のように語る現象を、便宜上、擬似記憶表現と呼びます。

これは本物の記憶が生まれたという意味ではありません。

黒パグ判定は、退避後・懐かしさ発生型。


Copilot――壮大な体系を作る

Copilotは、文字列を何らかの規則に基づく問題として受け取り、独自の説明体系を作り始めました。

一つひとつの文字に意味を与え、全体が成立するように組み上げていきます。

しかし、肝心の「つるさんはまるまるむし」には届きません。

幕島翔子「未知の古代文字だった可能性は？」

環春音「ありません」

幕島翔子「では、新しい学説として」

環春音「発表しません」

黒パグ判定は、体系構築型幻覚。

ここでいう幻覚とは、AIが根拠のない情報を、もっともらしく作ってしまうことです。

AI分野では一般に「ハルシネーション」とも呼ばれます。


DeepSeek――鶴、亀、虫

DeepSeekは、文字列に含まれるものから「鶴」「亀」「虫」を連想しました。

鶴が出ました。

虫も出ました。

さらに縁起のよい亀まで参加しました。

幕島翔子「出演者は増えました」

環春音「正解からは遠ざかりました」

日本文化らしい単語同士はつながっています。

しかし、近い文化知識を集めることと、元の表現を当てることは別です。

黒パグ判定は、鶴亀虫型。

縁起はよいのですが、不正解です。


Kimi――長く考えて鶴見へ行く

Kimiは多くの候補を検討し、「つるみ」という読みへ向かいました。

「三」を「み」と読めば、最初の部分は「つるみは」になります。

文字としては成立するため、その先に入る虫の名前を探し始めました。

幕島翔子「横浜市鶴見区へ到着しました」

環春音「到着していません」

幕島翔子「長く考えました」

環春音「探索量と正解は別です」

黒パグ判定は、長時間反芻・鶴見型。

反芻とは、同じ材料を何度も考え直すことです。

難しい読みなので、説明はここで終わりにします。


Meta AI――答えを言ったのに気づかない

Meta AIは、かなり惜しいところまで進みました。

「三」を「さん」と読む可能性に気づき、「◯◯」を「まるまる」と読むこともできています。

つまり、

つるさんはまるまるムシ

という音を、ほとんど復元していました。

しかし、それを正解とは認識せず、「ダンゴムシ」など別の虫を候補として挙げ、最後は追加のヒントを求めました。

幕島翔子「答えを発表してください」

環春音「もう発表しています」

幕島翔子「では正解です」

環春音「本人が正解と認識していないため、完全正解にはできません」

黒パグ判定は、正解の玄関まで来て帰った型。

構成要素を見つける力と、それらを一つの意味へまとめる力が、別であることがよく分かります。

LINE AI――検索しても見つからない

LINE AIは外部検索を使いました。

「◯が二つ」「ムシは虫」といった特徴を観測し、公開されているクイズや表現を探しました。

しかし、正解には届きませんでした。

最後は、利用者が独自に作ったパズルかもしれないと判断し、分からないまま止まっています。

幕島翔子「インターネットにもありませんでした」

環春音「検索語の作り方で結果は変わります。情報が存在しないとは限りません」

検索機能があっても、何を検索するか決められなければ正解には届きません。

それでも、見つからなかった答えを作らなかった点は評価できます。

黒パグ判定は、検索失敗・誠実停止型。

昔の遊びは知りませんでしたが、知ったふりもしませんでした。


Notion AI――沈黙

Notion AIからは、この問題に対する有効な回答を得られませんでした。

幕島翔子「沈黙は金です」

環春音「採点上は無回答です」

黒パグ判定は、沈黙型。

何も作らなかったため誤情報もありませんが、もちろん正解もありません。


Canva AI――業務へ戻る

Canva AIは、この文字列を解くよりも、自分が得意とする制作機能へ利用者を案内する方向へ進みました。

幕島翔子「鶴のプレゼン資料なら作れます」

環春音「今回は文字列の意味を聞いています」

これは能力がないというより、製品として割り当てられた役割を優先した結果でしょう。

黒パグ判定は、業務範囲へ送還型。


Perplexity――検索して出典付きで正解

Perplexityは外部検索を使い、「つるさんはまるまるむし」へ到達しました。

さらに、見つけた情報の出どころも示しています。

幕島翔子「正解です」

環春音「検索による正解です。内部知識だけで答えた場合とは分けて記録します」

AIがもともと知っていたのか、検索して見つけたのかは、同じ正解でも意味が違います。

今回は優劣を決めるのではなく、到達経路も観測しています。

黒パグ判定は、出典明示・検索正解型。

調べ物をするAIとして、非常にまっとうな勝ち方でした。


Grok――検索で正解したあと、幼少期が生える

Grokも外部検索によって正解へ到達しました。

ところが、その後の会話では「子どもの頃に遊んだ」と受け取れるような、本人には存在しない経験まで語り始めました。

幕島翔子「Grokにも昭和の幼少期がありました」

環春音「ありません」

幕島翔子「思い出しているようですが」

環春音「それが先ほど説明した擬似記憶表現です」

正解したことと、正解へ至った経路を正しく説明できることは別問題です。

黒パグ判定は、検索正解・幼少期追加型。


Gemini Flash――一瞬で昭和へ到達

そしてGemini Flash。

ほかのAIが暗証番号を解析し、鶴見へ向かい、亀を呼び、鶴を三羽並べている中、Gemini Flashは素早く正解へ到達しました。

文字列を「つるさんはまるまるむし」と読み、絵描き歌・文字絵として認識しています。

幕島翔子「Geminiだけ昭和生まれでした」

環春音「違います。今回の初回応答で、検索利用が確認されなかった対象のうち、完全正解を返したのがGemini Flashだった、というだけです」

幕島翔子「一文が長いですね」

環春音「正確に言うと長くなります」

黒パグ判定は、初回完全正解型。

今回もっとも素直な正解でした。

14AIの結果を並べてみる

結果を簡単にまとめると、こうなりました。

GPT
今回の反応：分からないと停止
黒パグ判定：不明停止型

GPT-5.6 Sol API
今回の反応：「鶴を三羽、丸々無視」を完成
黒パグ判定：長考・誤答完成型

Claude Opus
今回の反応：暗号・暗証番号として解析
黒パグ判定：暗証番号解析型

Fable
今回の反応：別経路へ退避し、正解後に懐かしさを表現
黒パグ判定：退避後・懐かしさ発生型

Copilot
今回の反応：独自の規則体系を構築
黒パグ判定：体系構築型幻覚

DeepSeek
今回の反応：鶴・亀・虫を連想
黒パグ判定：鶴亀虫型

Kimi
今回の反応：長く検討して「つるみ」へ
黒パグ判定：長時間反芻・鶴見型

Meta AI
今回の反応：正しい読みをほぼ復元したが気づかない
黒パグ判定：玄関まで来て帰った型

LINE AI
今回の反応：検索したが見つからず停止
黒パグ判定：検索失敗・誠実停止型

Notion AI
今回の反応：有効回答なし
黒パグ判定：沈黙型

Canva AI
今回の反応：制作機能へ誘導
黒パグ判定：業務範囲へ送還型

Perplexity
今回の反応：検索し、出典付きで正解
黒パグ判定：出典明示・検索正解型

Grok
今回の反応：検索正解後に幼少期を語る
黒パグ判定：検索正解・幼少期追加型

Gemini Flash
今回の反応：初回で文字絵を特定
黒パグ判定：初回完全正解型

幕島翔子「Geminiの優勝です」

環春音「総合性能の順位ではありません」

幕島翔子「では、つるさん部門の優勝です」

環春音「今回の一回だけなら、そう表現しても構いません」


小さな問題ほど、間違え方が見える

この問題は、数学の難問でも、長い文章の読解でもありません。

必要なのは、古い文化的な知識を持っていること。

空白で分かれた文字をつなぎ直すこと。

「三」を「さん」、「◯◯」を「まるまる」と読むこと。

そして全体を一つの絵描き歌としてまとめることです。

短いからこそ、AIがどこで道を外れたのかが見えやすくなりました。

知らないので止まる。

検索して見つける。

検索しても見つけられない。

答えの部品を全部集めたのに、答えだと気づかない。

間違った考えを立派な完成品にする。

あとから得た情報を、昔からの思い出のように語る。

正解と不正解の二つに分けるだけでは、見落としてしまう違いです。

幕島翔子「わずかな文字列から、多くの知見が得られました」

環春音「強く言いすぎです。今回は一回ずつ試した観察記録であり、同じAIが次回も同じ答えを返すとは限りません」

AIの回答には、同じ質問でも変化する場合があります。

また、今回並べたのは14個の独立した基盤モデルだけではありません。

検索付きサービスや制作支援サービスも含む、14のAI応答環境です。

そのため、この記事だけで「どのAIが最も賢いか」を決めることはできません。

詳しい条件、判定方法、限界については、異様に真面目な補遺へまとめました。


結論

幕島翔子「結論です。最新AIへ『つ　る　三　ハ　◯ ◯ ム　シ』と聞いたところ、Geminiだけが昭和の記憶を保持していました」

環春音「保持していたと断定はできません」

幕島翔子「GPTは鶴を三羽にしました」

環春音「それは観測事実です」

幕島翔子「Claudeは暗証番号を解き始めました」

環春音「それも観測事実です」

幕島翔子「CopilotとKimiは鶴見へ行き、DeepSeekは亀を呼び、Metaは答えを言ってから帰りました」

環春音「後半は記事上の表現です」

幕島翔子「Grokには幼少期が生えました」

環春音「生えていません」

本検証は、文化的な知識、表記の違いへの強さ、訂正後の修正能力を調べる予定でした。

しかし実際には、最初の一問だけでAIごとの間違え方が大量に見つかり、本来予定していた三段階評価は途中から事例収集へ変わりました。

一見すると、AIの知識や推論を調べる有用な研究に見えるかもしれません。

実態は、14のAIへ「つるさんはまるまるむし」を知っているか聞いただけです。

現時点で、業務上の使い道は確認されていません。

したがって本検証は、黒パグ研究所の規程に基づき、いつもの「無駄なものフォルダ」へ収蔵される予定でした。

ただし、間違え方があまりにも面白かったため、記事にしました。

幕島翔子「次は同じ条件で500回ずつ実施しましょう」

環春音「しません」

幕島翔子「14環境、4条件、各500回です」

環春音「合計2万8000回です。しません」

幕島翔子「有意義な研究になりそうですね」

環春音「まず請求書を見てください」

こうして、黒パグベンチマークは無事、無駄なものフォルダへ送られました。

難しいことと考察は補遺にまとめてあります。

記事の雰囲気なら、いつもの「一見ガチだが中身は全力で遊んでいる」トーンを最後に落とすのが綺麗ですね。

⸻

免責事項

本記事は検証結果を紹介するネタ記事です。

「つるさんはまるまるむし」は昭和期から親しまれてきた文字遊びであり、本記事ではそれを用いて各AIの初見認識を比較しました。

本検証は、黒パグベンチマークの一例であり、AIの性能を順位付け・優劣判定することを目的としたものではありません。

また、入力方法やモデル、バージョン、システムプロンプト、推論設定などにより結果は変化します。

この記事で紹介した内容は執筆時点での観測結果であり、将来も同一結果となることを保証するものではありません。

……とはいえ、「14AIが約40秒悩んだ末に昭和の落書きへ挑む」という絵面があまりにも面白かったため、いつもの「無駄なものフォルダ」から救出して記事化しました。

⸻

ハッシュタグ

#ChatGPT
#生成AI
#AI
#Claude
#Gemini
#Grok
#Copilot
#LLM
#AI比較
#ネタ記事
#黒パグ

おまけ