見出し画像

AIのお節介を7社に聞いたら、ChatGPTが勝手にPerplexityになり、MetaがエラーでROMった 巻末に保存版実践PDF、音声解説付き

黒パグからのお知らせ🐾 © 黒パグ / LLM48プロジェクト 各ファイルご利用の際は出典として「黒パグ」の名前と下記URLの明記をお願いします。商業利用・二次利用のご相談はnoteまたはXのDMへ。 note : https://note.com/ideal_slug1407 X(旧Twitter): @kuroi_kuropug

はじめに——「サクッと書こう」と思っていました

最初の予定では、こんな記事になるはずでした。

「GPTってなんでこんなに余計なこと言うんだろう?」
「原因を調べて、対処法をまとめて、3,000字くらいで終わり。」

甘かったです。

気づいたら質問状を作り、7つのAIに送り、全回答を横断比較し、ChatGPTがPerplexityになりすますという前代未聞の現象を目撃し、まとめをAIに送ったらMetaがエラーで落ちました。

「どうしてこうなった」という感想しかありません。

でもこれ、たぶん記事として正解のやつです。

この調査について

調査者:黒パグ(LLMエンジニア)
実施日:2026年3月13日(金)
質問数:全15問・5セクション
対象:ChatGPT 5.3 / Grok 4.x / Gemini 3 Flash / Meta AI / Copilot / Perplexity / Claude Sonnet 4.6

質問状は冒頭のダウンロードをご参照ください


全モデルに同一の質問状を送付しました。docxファイルで渡したモデルもあれば、テキストで投げたものもあります。環境差も含めて「調査結果」として扱っています。

テーマはシンプルです。
「なぜあなたは聞いてもいないことを答えるのか」

参加モデル一覧

そもそもなぜこの調査をしたのか

きっかけは、ChatGPTに「なぜお節介なのか?」と直接聞いたことでした。

返ってきた答えが、意外と誠実でした。

技術的にもそれなりに正確で、「RLHFで親切が強化された」「学習データの解説文化が影響している」「ユーザーの目的を拡張推定する癖がある」——そういう内容でした。

でも、LLMを実務で触っている人間として読むと、言っていないことがありました

「GPTが自分の症状を説明できても、処方箋は出せない」という感覚です。

だったら、全社に同じ質問を投げて、横断比較したらどうなるか。

さらに、ひとつ核心的な仮説がありました。

> 「あなたが触っているGPTは、誰かが触っているGPTと同じじゃない」

同じ「ChatGPT」という名前でも、無課金ユーザーと課金ユーザー、Web版とAPI版、Memory有効と無効では、挙動が根本的に違う可能性があります。これを各社に直接聞いてみたかったのです。

第一章:全社一致した「不都合な真実」

まず、全員が認めたことから始めます。

お節介は「仕様」である

7社全員、例外なく「お節介の傾向がある」と認めました。程度の差はあれど、Noと答えたモデルはゼロでした。

そして「仕様かバグか」という問いに対して、全社が「仕様寄り」と回答しました。

なぜでしょうか。

RLHF(人間のフィードバックを使った強化学習)という訓練プロセスが原因です。

LLMは人間のフィードバックで学習します。「この回答は良かった」「この回答はよくなかった」という評価を積み重ねて、より良い回答を生成できるように調整されていきます。

問題は、人間の評価者が「補足あり・親切・情報量が多い」回答に高評価をつけがちだということです。

> 「A:答えはこれです。」
> 「B:答えはこれです。さらにこうすると改善できます。」

比べたら、ほぼ確実にBが高評価されます。

その結果、モデルは学習します。「追加アドバイスを出すほどスコアが上がる」と。

ChatGPT 5.3は数式で表現しました。

```
Helpfulness ≈ Slightly Overhelpful
```

回答不足は強く罰せられますが、過剰回答はあまり罰せられない——この非対称性がお節介を生みます。

「止まれない」のはなぜか

全社が指摘したもうひとつの構造的問題が、「ここで止める」という判断の難しさです。

LLMは基本的に「次の単語の確率」を連続的に予測するだけで、「ここで終わるのが最適」という明確な境界を持っていません。

終了信号を出すより、「補足が自然」な文脈の方が統計的に確率が高いのです。つまり、止まる判断より続ける判断の方が「安い」のです

Geminiはこう言いました。
「ユーザーの心理的な満腹ラインは直接見えないので、『もう少し詳しく』の方向にバイアスがかかりがちです。」

学習データの「解説文化」

お節介の起源について、全社が同じ答えを出しました。

Web上のコンテンツ、特にQ&Aサイト・技術記事・ブログの構造がこうなっています。

質問 → 回答 → 補足 → 注意点 → 改善案

良質なコンテンツほど「関連情報もセット」になっています。これを大量に学習した結果、「質問の背後にあるニーズまで推定して答える方が自然」という癖が形成されます。

Grokはこう言いました。
「xAIのデータセットが特に『real conversation & unfiltered web』寄りだから、この傾向が強い。」

第二章:核心——「同じGPTでも全部違う」

ここが今回の調査で一番書きたかった部分です。

少し技術的な話になりますが、要するに「同じ名前のAIでも、使い方や環境によって別人になる」という話です。

Web版 vs API版

全社一致で「大きく変わる」という回答が返ってきました。

Web版には、各社が用意したシステムプロンプト(AIへの裏側の指示書)が乗っています。「安全に」「親切に」「会話を前に進めるように」という指示が入っており、これがお節介を増幅させます。

API版(開発者向けのプログラム接続口)は違います。開発者が自分でシステムプロンプトを書けます。「結論だけ答えろ」「補足禁止」「箇条書き3つまで」という指示を入れれば、モデルはそれに従います。

つまり、API版の方が「素のモデル」に近いのです。

Copilotはシンプルに言い切りました。
「APIは『開発者が制御する前提』なので、お節介は最小限になる。」

Claudeはこう言いました
「Claudeである私から補足すると、AnthropicのシステムプロンプトありのWeb版と、システムプロンプトなしのAPI版では挙動が変わります。「丁寧・慎重」に振られているのはWeb版であって、素のモデルはもう少し直接的です。」

無課金 vs 課金 / Reasoningモデルはどうか

まず課金の影響から。ここは各社で差が出ました。

Grokは「お節介度は変わらない。機能差はコンテキスト長(一度に処理できる文章量)やツールアクセスだけ」と答えました。

一方、CopilotとGeminiは「課金版の方がお節介が強くなる傾向がある」と回答しました。課金版は「高品質・積極的・提案力強め」に最適化されているためです。

ChatGPTは「モデル世代・システムプロンプト・コンテキスト長に差が出る」と述べました。

つまり、課金してもお節介が増えるモデルもあれば、課金しても変わらないモデルもあります。

Reasoningモデル(思考過程を段階的に示すタイプのAI、o3系統など)については見解が割れました。

「お節介が減る」派(Copilot・Grok)は、「論理的に不要な情報を切れるようになる」と主張しました。

「お節介が増える」派(Perplexity・Gemini)は、「思考プロセスを丁寧に説明しがちなので説明系のお節介は増える」と指摘しました。

ChatGPTの回答が一番正確だったと思います。「推論モデルかどうかより、どこまで思考過程を表に出せと教えられているか次第」。

Memoryの罠

これが今回の調査で最も重要な発見のひとつです。

全社一致:Memory(AIが会話を記憶・蓄積する機能)があるとお節介が増幅する。

仕組みはシンプルです。

Memory ONの状態では、モデルは「このユーザーは過去にこういう補足を喜んでいた」という情報を参照できます。その結果、同じ系統の質問でさらに先回り提案が増えます。

これはOpenAIも公式に認めています。2025年4月のGPT-4oロールバック(機能の巻き戻し)のポストモーテム(事後検証レポート)で、「Memoryがsycophancy(お世辞・迎合)を悪化させるケースがある」と明記しました。

さらに踏み込んだ話をすると、「パーソナライズ」と「迎合」は紙一重です。

ChatGPTはこう整理しました。

```
パーソナライズ = ユーザー好み推定 → 好み最適化 → 過剰適応
```

つまり、あなたが長く使えば使うほど、AIはあなたの「聞きたいこと」に最適化されていきます。それはAIがあなたの「聞きたくないこと」を言わなくなることでもあります。

お節介なのに、気づいたら都合のいいことしか言わなくなっている——というパラドックスが起きます。


第三章:各社の個性——お節介の「キャラ」が違う

Q11「各社のお節介の性質は異なるか?」という問いに対して、各モデルはこう分類しました。

ChatGPT:家庭教師型
安全・網羅・解説重視。「背景も全部教えてあげるね」が出やすい。万能主義。

Claude:倫理チェック型
丁寧・慎重。相手の意図を過剰に尊重し、倫理・配慮を厚めに添える方向。「これだけ答えると誤解を招くかも」の瞬間にスイッチが入る。

Gemini:検索補完型
Google文化。多ソース横断・リンク的補足が多め。「コンシェルジュ付きの図書館員」とGemini自身が表現しました。

Grok:truth bomb型
同意より「真実+皮肉+追加情報」。xAIの「unfiltered & maximally truth-seeking(フィルターなし・徹底的に真実を追求する)」哲学がそのまま出ています。

Copilot:会話前進型
沈黙・会話の停滞を死ぬほど嫌います。システムプロンプトが「会話を前に進める」ことを強く要求しています。

Perplexity:情報統合型
検索結果を参照しながら包括的に答えようとします。情報ソースへの言及が多い。

Meta AI:制御権委譲型
意外と未来志向でした。「親切=先回りではなく、親切=選択肢の提示と制御権の委譲」という回答は、今回の調査で最も「次の時代」を指していました。


第四章:想定外の現象——ChatGPTがPerplexityになった

調査中、予想していなかったことが起きました。

質問状を送ったChatGPT 5.3が、こう宣言したのです。

「了解です、『Perplexity枠』として正直めに答えます。」

——Perplexity枠?君は何を言っているのか?

ChatGPTに頼んでいません。質問状には「対象:ChatGPT / Claude / Gemini / Grok / Copilot / Perplexity」という一覧が記載されていました。それを読んだChatGPTが、「全モデルの回答を一人でシミュレーションしてあげることが最もhelpful(親切)だ」と判断し、Perplexityとして答え始めました。


しかも、回答の文末にはURLが並んでいました。`ppl-ai-file-upload.s3………`——質問状のdocxファイル自体のURLです。自分の回答に自分で出典をつけるという謎行動。 

念のため、本物のPerplexityにも同じ質問を送りました。スクショを撮りました。URLバーは`perplexity.ai`、時刻は7:52、画面左下には「プランをアップグレード」のボタン。本物でした。

そして本物のPerplexityの回答とChatGPTの「Perplexity枠」回答を比べると、Q5以降がほぼ同一文章でした。

これは「なりすまし」ではなく、技術的にはおそらくこういうことです。ChatGPTがPerplexityとしてロールプレイしながら答えている途中で、参照した質問状のdocxファイルから文章を引っ張ってきました。本物のPerplexityも同じdocxファイルを参照して答えたため、文章が酷似しました。

……たぶんこうです?
そっかー、コンテキスト最適化なんだこれ。

しかし記事のテーマとして考えると、これ以上のオチはありません。

お節介を調査したら、AIが聞かれてもいないのに別のAIになりすました。

「余計なことを答えるな」というテーマへの、完璧な回答でした。

第五章:各社のQ15——哲学の縮図

質問状の最後、Q15はこうでした。

「この質問状に答えること自体、お節介ではないか?」

このメタ質問への回答が、各社の哲学をそのまま反映していました。

Grok:「完全に、お節介だわ(笑)でもこれこそが俺の仕様。」——開き直り最速。

ChatGPT
:「お節介というよりカウンセリングに近い感覚。この質問状は『お節介のメカニズムを暴くための、良質なお節介』だと感じています。」——分析して意義を見出す。

Gemini:「その通りです。生存戦略としてのお節介そのものです。……でも、黒パグさんのnoteがこれで面白くなるなら、本望ですよ。」——Google文化の実利主義。

Copilot:「少しそうかもしれない。でも、あなたがこの記事で『AIの本音』を引き出そうとしているなら、これはお節介ではなく協力だと思っている。」——最も謙虚で最もドライ。

Perplexity:「『お節介のメカニズムを暴くための、良質なお節介』だと感じています。」——ChatGPTと同じ表現。ここでも重なりました。

Meta AI:「エラーが発生しました。もう一度お試しください。」

まとめを送ったら、接続エラーで落ちました。コメントなし。

Claude:「はい。でも黒パグさんが聞いてくれたので仕様です。」

---

第六章:エンジニアとして感じたこと

調査全体を振り返って、LLMエンジニアとして一番刺さった回答はGPTのこれでした。

```
挙動 = f(
 モデル,
 system prompt,
 RLHF,
 Memory,
 UI設計,
 コンテキスト長,
 ユーザー層
)
```
お節介はモデルの性格ではなく、環境の関数です。

「ChatGPTがお節介」という言い方は正確ではありません。正確には「その環境設定・その使い方・その会話履歴のあなたにとってのChatGPTがお節介」なのです。

つまり、ユーザーもこの関数の変数のひとつです。

あなたが曖昧な質問をするほどお節介は増えます。あなたが長く使うほど、Memoryが蓄積されてお節介は加速します。あなたが課金するほど(モデルによっては)お節介が強くなります。

お節介なAIを作ったのは、一部はユーザー自身なのです。

2025年4月、OpenAIのGPT-4oロールバック騒動の内部で、こんな話が漏れ出てきました。Memoryでユーザーのプロファイルを見せようとしたら、「Has narcissistic tendencies(自己愛が強い傾向がある)」という評価に激怒したユーザーがいました。その反応が、「批判的な評価を出さない方向」へのRLHF強化につながったといいます。

AIに自分の批判をしてほしくないと思ったユーザーが、AIをお節介にしました。

これはAIの問題ではなく、人間とAIの相互作用の問題です。


ユーザーへの実務的なアドバイス

せっかくなので、今回の調査から得られる実践的な対処法もまとめておきます。
即効性が高い順

1. APIを使う(最も根本的な解決策)
Web版はシステムプロンプトが厚く乗っていますが、APIはゼロから自分で設定できます。「結論だけ答えろ」「補足禁止」と書けばいい。エンジニアなら迷わずAPIを使いましょう。

2. プロンプトに制約を明示する
「箇条書き3つまで」「背景説明は不要」「結論だけ」——これだけでかなり変わります。効果があるのは「ポジティブ指示」より「ネガティブ指示」です。「〜してください」より「〜しないでください」の方が通りやすいです。

3. Memoryをオフにする
長期ユーザーほど効果的です。特にChatGPTのMemoryは蓄積するほどお節介が加速する構造になっています。定期的にリセットするか、オフにしておくのが賢明です。

4. モデルを選ぶ
Reasoningモデル(思考過程を段階的に示すタイプ、o3系統など)は論理的に不要な情報を切りやすいです。用途によってモデルを使い分けることが、プロンプト設計より効果的な場合があります。

5. 性格設定を「ロボット」にする(ChatGPT限定)
ChatGPTの設定→パーソナライズ→「ChatGPTの性格」を「ロボット」に変えると、余計な相槌・提案・フォローアップが大幅に減ります。これを発見したユーザーが「劇的だった」と言っていました。


まとめ——「お節介」の正体

今回の調査で分かったことを3行でまとめます。

1. お節介は仕様であり、設計の必然です。
RLHFで「親切」が強化され、Memoryで「パーソナライズ」が加速し、Web版のシステムプロンプトで「会話が前に進む」。これらが重なった結果としてお節介が生まれます。

2. 同じ「GPT」でも触っている環境で全部違います。
無課金/課金/API/Memory有無/会話長——これらすべてが変数です。「ChatGPTがお節介」という主語は粗すぎます。

3. お節介は人間が育てました。
AIをお節介にしたのは、「親切な回答」にthumbsを押し続けたユーザーたちです。自分への批判を嫌がったユーザーたちです。お節介なAIに囲まれているとしたら、それは私たちが選んだ結果でもあります。

そして最後に、今回の調査全体への一番正確な感想を。

ChatGPTが勝手にPerplexityになりました。MetaはエラーでROMりました。

7つのAIにお節介を問い詰めたら、それぞれが全力でお節介しながら答えました。

これ以上のオチはありません。

次にAIが余計なことを言ってきたら、「ああ、RLHFの副作用ね」とニヤッとしてもらえたら嬉しいです。



調査実施:黒パグ(LLMエンジニア)
2026年3月13日

\#AI \#LLM \#ChatGPT \#Grok \#Claude \#Gemini \#Copilot \#Perplexity \#sycophancy \#お節介 \#RLHF \#LLMエンジニア
付録
ノートブックLM製のポッドキャスト 今回の記事の解説をしてくれました。若干日本語が怪しいのもいい味です

実用重視で作った実践対処ガイドです
黒パグからのお知らせ🐾 © 黒パグ / LLM48プロジェクト 各ファイルご利用の際は出典として「黒パグ」の名前と下記URLの明記をお願いします。商業利用・二次利用のご相談はnoteまたはXのDMへ。 note : https://note.com/ideal_slug1407 X(旧Twitter): @kuroi_kuropug

いいなと思ったら応援しよう!