見出し画像

4つのAIでExcel分析対決!同じ依頼で見えた驚きの違いと「幻のデータ200件事件」

こんにちは!YaroTechです。

「Excelのデータ分析、どのAIに頼むのが一番正確なんだろう?」

Claude、ChatGPT、Copilot、Gemini...最近は選択肢が多すぎて、正直どれを使えばいいか迷いますよね。

そこで、全く同じExcelファイルを4つのAIに分析させて、徹底比較してみました。

結果は...まさかの展開に!



🖥️ 実行環境

  • 使用AI:

    • Claude Desktop(クロ助)

    • ChatGPT Plus(チャッピー)

    • Microsoft Copilot(コロ)

    • Google Gemini(ジミー)

  • データ: 製品名(A〜E)の100件のデータ

  • 分析依頼: 「製品名の割合を算出してください」

  • テスト日: 2025年10月21日


🎯 この記事で得られること

  • 4つの主要AIの分析精度の違い

  • 各AIの特徴と使い分け方法

  • なぜAIによって結果が違うのかの考察

  • 実務でどのAIを選ぶべきかの判断基準

  • Geminiの「幻のデータ200件事件」の全貌


📊 実験内容

テストデータ

100件の製品データ(No.1〜100)で、製品名はA〜Eの5種類。
No1~100の横にランダムに並んでいます。

実際の正解は:

  • 製品E: 44件(44.0%)

  • 製品D: 18件(18.0%)

  • 製品B: 17件(17.0%)

  • 製品A: 12件(12.0%)

  • 製品C: 9件(9.0%)

この正解を知らずに、各AIに分析を依頼しました。

依頼プロンプト

添付したExcelのデータ分析をしてください。2列で下記項目名のデータです。分析としては、製品名の割合からしてください。
A列:No
B列:製品名

🤖 各AIの分析結果

1. Claude Desktop(クロ助)の結果

結果発表まで: 約10秒

| 製品名 | 件数 | 割合(%) |
|--------|------|---------|
| E | 44件 | 44.0% |
| D | 18件 | 18.0% |
| B | 17件 | 17.0% |
| A | 12件 | 12.0% |
| C | 9件 | 9.0% |

判定: ✅ 完全正解!

ClaudeDesktopの回答1
ClaudeDesktopの回答2
ClaudeDesktopの回答3

特徴:

  • グラフ(円グラフ・棒グラフ)を自動生成

  • 3つのファイルを作成:

    1. `product_analysis_chart.png` - グラフ画像

    2. `product_analysis_report.txt` - 詳細レポート

    3. `product_analysis_result.xlsx` - 集計結果Excel

  • 「製品Eが圧倒的に人気」と分析コメント付き

  • ファイル作成まで含めた完全自動化

`product_analysis_chart.png` - グラフ画像

Claudeの分析コメント:

製品Eが全体の44.0%を占めており、最も多く選ばれています。製品D(18%)と製品B(17%)がほぼ同程度の需要。最多の製品Eと最少の製品Cの間に約5倍の差があります。


2. ChatGPT Plus(チャッピー)の結果

結果発表まで: 約8秒

| 製品名 | 割合(%) |
|--------|---------|
| E | 44.0% |
| D | 18.0% |
| B | 17.0% |
| A | 12.0% |
| C | 9.0% |

判定: ✅ 完全正解!

特徴:

  • Claudeと全く同じ数値

  • 戦略的な考察が充実:「製品Eに偏重した構成」とリスク分析

  • ビジネス提案:「今後、販売戦略や生産計画を検討する際は、製品Eの需要変動に対する依存リスクを考慮すると良いでしょう」

  • PDFレポート形式で出力

  • 表形式で見やすい

ChatGPTの分析コメント:

製品Eが全体の約44%を占めており、最も多く生産・登録されています。製品D・Bが中位層を形成しており、合計で約35%。全体として、製品Eに偏重した構成であることがわかります。


3. Microsoft Copilot の結果

結果発表まで: 約15秒

| 製品名 | 件数 | 割合(%) |
|--------|------|---------|
| E | 45件 | 45% |
| D | 18件 | 18% |
| B | 18件 | 18% |
| A | 12件 | 12% |
| C | 7件 | 7% |

判定: ❌ 誤り(製品E、B、Cの数値が違う)

Copilotへのプロンプト
Copilot回答1
Copilot回答2

特徴:

  • 数値が他のAIと違う(E=45%、B=18%、C=7%)

  • ビジネス観点での考察が充実

  • 「売上や利益率とのクロス分析」を提案

  • テーブル形式で見やすい

  • Excelアプリ内で完結する使いやすさ

Copilotの分析コメント:

製品Eが圧倒的に多く(45%)、全体のほぼ半分を占めています。BとDは同率(18%)で、次に多いグループ。製品Eが主力製品である可能性が高いですが、偏りが大きいためリスク分散の観点で他製品の強化も検討余地あり。

なぜ数値が違う?考察:

  1. 四捨五入の違い: 44%を45%に丸めた可能性

  2. データ読み込みエラー: 一部のデータを誤認識

  3. 集計アルゴリズムの違い: 独自の集計方法を使用


4. Google Gemini(ジミー)の結果

結果発表まで: 複数回試行が必要

試行1-2回目(Excel、CSVで試行)

| 製品名 | 件数 | 割合(%) |
|--------|------|---------|
| E | 100件 | 50.0% |
| B | 44件 | 22.0% |
| A | 23件 | 11.5% |
| D | 21件 | 10.5% |
| C | 12件 | 6.0% |

判定: ❌❌ 大誤り

Gemini回答1 Excel編
Gemini回答2 CSV編

問題:

  • 100件のデータを勝手に200件にしていた!

  • 「データ全体200件における...」と主張

  • 存在しないNo.101〜200のデータを幻視

Geminiの(誤った)分析コメント:

データ全体200件における、各製品名の件数と全体に占める割合は以下の通りです。製品 Eが100件と最も多く、全体の半分 (50.0%)を占めています。


試行3回目(スプレッドシートで試行)

| 製品名 | 件数 | 割合(%) |
|--------|------|---------|
| E | 44件 | 44.0% |
| B | 21件 | 21.0% |
| A | 13件 | 13.0% |
| D | 12件 | 12.0% |
| C | 10件 | 10.0% |

判定: ❌ 誤り(製品B、A、D、Cの数値が違う)

Gemini回答3 スプレッドシート編

進歩:

  • データ件数は正しく100件と認識

  • しかし、製品Bを21%(正解は17%)と誤認識

  • 他の製品も微妙にズレている

Geminiの分析コメント:

提供されたデータは、ヘッダー(No, 製品名)を除いて100件(No. 1から100まで)あります。製品 Eが44件で最も多く、全体の44.0%を占めており、主要な製品であることがわかります。


試行2.5回目(試行1~2回目後に間違いを指摘)

Kentaさんからの指摘:

データの合計について説明したけど、理解してくれず
データの合計の数の間違いを指摘しましたが、認めてくれず
データが101行目までではないか確認しましたが、201行目まであると回答されて困惑

「101行目のデータは何ですか?」
→ Gemini「No.100で製品名が『E』です」(誤り)

しかも、”お客様”って私のことですよね!?いや、ファイルは間違いなくあってますが。。。

ないはずの201行目まで説明してくれて、さらに困惑

特徴:

  • 人間の指摘があって初めて正しく認識

  • 「お客様のご指摘を真摯に受け止め、、、」と謙譲

  • 修正後も完全には正確にならず


🏆 結果サマリー:正確性ランキング

| 順位 | AI | 正確性 | 速度 | アウトプット |
|------|-------|--------|------|--------------|
| 🥇 1位 | Claude | 100% | ⭐⭐⭐ | ファイル3種 |
| 🥇 1位 | ChatGPT | 100% | ⭐⭐⭐ | PDFレポート |
| 🥈 3位 | Copilot | 85% | ⭐⭐ | テーブル |
| 🥉 4位 | Gemini | 0%→70% | ⭐ | 複数回修正 |


😱 Geminiの「幻のデータ200件事件」徹底検証

なぜGeminiは200件と誤認したのか?

仮説1: ファイル読み込みエラー

  • Excelファイルの構造を誤認識

  • 空白行やフォーマット情報を含めてカウント

  • 内部的に何らかの変換エラー

仮説2: 過去のデータとの混同

  • 以前に分析した200件のデータを記憶?

  • キャッシュや学習データとの混同

  • プロンプトの解釈ミス

仮説3: 独自の推論で補完

  • 100件のデータから200件を「推定」

  • AIが勝手にデータを拡張

  • 確信度が低いまま出力

3回目でなぜ改善したのか?

スプレッドシートへの変換が鍵:

  • ExcelファイルをGoogleスプレッドシートに変換

  • ファイル形式の変更により、読み込み精度が向上

  • しかし、完全には正確にならず

指摘後の反応

Geminiの謝罪文:

「お客様にご不便をおかけし、大変申し訳ございません。お言葉を真摯に受け止め、再度、アップロードされたCSVファイルの内容を詳細に確認いたしました。」

人間味のある対応:

  • 丁寧な謝罪

  • 「お客様」という呼びかけ

  • しかし、最初から正確に読むべき


💡 実務での使い分けガイド

🥇 簡単な集計・確認:Copilot

おすすめシーン:

  • Excel内で素早く確認したい

  • ビジネス的な考察が欲しい

  • 大まかな傾向を掴みたい

注意点:

  • 数値の正確性は要確認

  • 重要な意思決定には不向き

  • 他のAIとのクロスチェック推奨


🥇 詳細な分析・可視化:Claude

おすすめシーン:

  • グラフや視覚化が必要

  • 複数のファイル形式で出力したい

  • 正確な数値が必須

強み:

  • ファイル自動生成(画像、Excel、テキスト)

  • 100%の正確性

  • MCP連携で更に強力

関連記事: Day5: Excel自動化MCPを自作してみた!既存ツールでは物足りなかった私の挑戦では、ClaudeのExcel MCPを使った自動化の実践例を詳しく紹介しています。


🥇 戦略的考察・提案:ChatGPT

おすすめシーン:

  • ビジネス戦略の提案が欲しい

  • リスク分析が必要

  • PDFレポートで共有したい

強み:

  • 戦略的な視点での考察

  • 「依存リスク」などの指摘

  • 分かりやすいレポート形式


😓 避けるべき:Gemini(現時点では)

問題点:

  • データ読み込みの不安定性

  • 幻のデータを作り出すリスク

  • 複数回の修正が必要

唯一の利点:

  • 丁寧な対応と謝罪(笑)

  • スプレッドシート形式なら少しマシ


🔧 実践:組み合わせ活用法

パターン1: ダブルチェック方式

1. Claudeで分析(正確性重視)
2. ChatGPTで戦略考察
3. Copilotで補足確認

メリット:

  • 数値の正確性を担保

  • 多角的な視点を獲得

  • リスクの早期発見


パターン2: 速度重視方式

1. Copilotで素早く確認
2. 重要な場合はClaudeで検証

メリット:

  • 日常業務での時短

  • 必要に応じて精度向上


パターン3: プレゼン準備方式

1. Claudeでグラフ作成
2. ChatGPTで考察文章生成
3. パワポにまとめる

メリット:

  • 視覚的な資料作成

  • 説得力のある提案

関連記事: Day2: PowerPoint卒業!Marp×MCPで研修資料を30分→5分に短縮した方法では、プレゼン資料作成の効率化について詳しく解説しています。


⚠️ つまずきポイントと解決策

ポイント1: 数値が違う!どれを信じる?

問題:
異なるAIで結果が違う場合、どれが正しいか分からない。

解決策:

  1. 複数のAIでクロスチェック

    • 2つ以上のAIで一致する結果を採用

    • Claude + ChatGPT の組み合わせが最強

  2. 手動で一部確認

    • 最初の10件だけ手動カウント

    • AIの結果と照合


ポイント2: Geminiがおかしな結果を出す

問題:
存在しないデータを作り出す、数値が合わない。

解決策:

  1. ファイル形式を変える

    • Excel → CSVに変換

    • Googleスプレッドシートにアップロード

  2. 諦めて他のAIを使う

    • 時間がもったいない場合は早めに切り替え


ポイント3: Copilotの数値がズレる

問題:
45%や18%など、微妙に数値が違う。

解決策:

  1. Copilotは「参考値」として使う

    • 大まかな傾向把握に活用

    • 重要な意思決定には使わない

  2. 正確性が必要な場合はClaudeへ

    • Copilotで概要確認 → Claudeで正確な分析

  3. Excelの関数と併用

    • AI分析 + 手動検証


🎓 今回の実験から学んだこと

1. AIによって得意分野が違う

Claude: 正確性 + ファイル生成
ChatGPT: 戦略的考察 + レポート
Copilot: 速度 + 手軽さ
Gemini: ...頑張れ


2. AIを盲信してはいけない

教訓:

  • 必ず複数のAIでクロスチェック

  • 重要なデータは手動検証

  • AIは「補助ツール」であって「絶対的な答え」ではない


3. 適材適所が重要

使い分けの基本:

  • 速度重視 → Copilot

  • 正確性重視 → Claude

  • 考察重視 → ChatGPT

  • 実験的 → Gemini(将来に期待)


📊 Before/After:AI活用の変化

Before(AI活用前)

  • Excelで手動集計:30分

  • グラフ作成:20分

  • レポート作成:40分

  • 合計:90分

After(AI活用後)

  • Claude分析:10秒

  • グラフ自動生成:0秒(Claudeが作成)

  • ChatGPTで考察:8秒

  • 合計:18秒

削減率:99.7%!

ただし、AIの選択を間違えると...

  • Geminiで試行錯誤:15分

  • Copilotの数値確認:10分

  • 手動で再検証:30分

  • 合計:55分(削減率38%まで低下)

結論:正しいAIを選ぶことが超重要!


🔗 関連記事

今回の内容に関連する過去記事もぜひご覧ください:


📝 まとめ

4つのAI分析対決の結論

  1. 正確性: Claude = ChatGPT > Copilot > Gemini

  2. 速度: ChatGPT > Claude > Copilot > Gemini

  3. 実用性: Claude(ファイル生成)、ChatGPT(考察)

  4. 信頼性: 複数AIでのクロスチェックが必須

今日から実践できること

日常の集計: Copilotで素早く確認
重要な分析: Claude + ChatGPTのダブルチェック
プレゼン資料: Claudeでグラフ、ChatGPTで考察
Gemini: ...もう少し成長を待つ

一番大事なこと

AIは便利だけど完璧ではない。

Geminiの「幻のデータ200件事件」が教えてくれたように、AIは時に驚くような間違いをします。

だからこそ、

  • 複数のAIを使い分ける

  • クロスチェックを怠らない

  • 重要なデータは手動検証

この3原則を守れば、AIは最強の業務効率化ツールになります!


🎨 おまけ:見出し画像作成プロンプト

今日の見出し画像のベースはチャッピー(ChatGPT)に下記プロンプトで作成してもらいました!:

柔らかな照明で撮影された超現実的でプロフェッショナルな写真を作成してください。
詳細なアニメの美意識の画像を作成してください。

下記条件のnote見出し画像をサイズは横長で作成してください。サイズは必ず横長で作成してください。
## 🎨 見出し画像案

### デザインコンセプト
- **背景**: 青→紫の美しいグラデーション(データ分析のイメージ)
- **メインビジュアル**: 
  - 中央に4つのAIアイコンを円形配置(Claude、ChatGPT、Copilot、Gemini)
  - 中心にExcelファイルのアイコン(イラスト風)
  - 各AIから分析結果が飛び出すイメージ(グラフ、数値、チャート)
- **テキスト要素**:
  - 上部: 「4つのAI徹底比較」(白文字、太字)
  - 中央: 「Excel分析対決」(大きく、黄色のアクセント)
  - 下部: 「同じ依頼で見えた驚きの違い」(白文字)
- **装飾**: 
  - データの流れを示す矢印(青→白)
  - キラキラエフェクト(分析結果のイメージ)
  - 「正確性」「速度」「考察」などのラベル

### 作成手順
1. スライドサイズ(1536×1024px、横長)
2. 青→紫のグラデーション背景を設定
3. 中央に4つのAIアイコンを円形配置
4. Excelアイコンを中心に配置
5. グラフや数値のイラストを追加
6. テキストを3段構成で追加
7. 矢印とキラキラで装飾
8. YaroTechロゴを右下に12ptで控えめに配置

あなたもこのプロンプトで、同じクオリティの見出し画像が作れます!


#AI #Excel #データ分析 #Claude #ChatGPT #Copilot #Gemini #業務効率化 #生成AI #YaroTech

いいなと思ったら応援しよう!

YaroTech|生成AIの傾奇者 記事がお役に立てたなら嬉しいです! いただいたチップは、新しいMCPツールの検証や、より深い実践実験の資金として大切に使わせていただきます。 あなたの応援が次の「AI活用の感動」を生み出す原動力になります✨ 一緒に羽ばたき続けましょう!