DeepResearch競馬予想レポート5｜中間集計
前回は、Perplexity が4レースすべてで推奨馬を3着以内に入着させるという快挙を達成。さらに、人気薄の穴馬を的中させるなど、驚異的な精度を発揮しました。
ではここで、これまでの予想とその的中結果をもとに、どのLLMが最も優秀だったのかを簡単に集計してみました。
まだ10レース前後とデータ数は少ないため、ばらつきの範囲内にあるとは思いますが、現時点でのランキングを評価してみます。
果たして、1位に輝くのはどのモデルなのか――結果が楽しみです。
集計結果
【集計条件】
＜対象レース＞
・オーシャンステークス（GⅢ）
・チューリップ賞（GⅡ）
・中山記念（GⅡ）
・フィリーズレビュー（GⅡ）
・中山牝馬ステークス（GⅢ）
・弥生賞（GⅡ）
・金鯱賞（GⅡ）
・スプリングステークス（GⅡ）
・ファルコンステークス（GⅢ）
・フラワーカップ（GⅢ）
・愛知杯（GⅢ）
・阪神大賞典（GⅡ）
＜モデルと検証レース数＞
・ChatGPT：8レース
・Gemini：9レース
・Grok：12レース
・Perplexity：12レース
・Felo（o3mini）：6レース
・Felo（3.7sonet）：8レース
・Felo（R1）：7レース
推奨4頭（本命／対抗／単穴／大穴）の3着内入着率に関する比較
◆ 推奨馬が1頭以上3着内に入ったレースの割合
Felo(o3mini)は、対象レースすべてで推奨馬が1頭以上3着以内に入着しており、100%という完璧な記録を残しました。
ChatGPT（88%）、Gemini（89%）も高い的中率を示していますが、全体的に見るとFelo(o3mini)の安定感が際立っています。
◆ 推奨馬が2頭以上3着内に入ったレースの割合
ここでは、Perplexityが58%でトップに立っています。ChatGPTとFelo( o3mini)はともに50%とそれに続いており、一定の精度を維持。
一方、Geminiは44%にとどまり、他のモデルと比較してやや低調な結果となりました。
◆ 推奨馬が3頭3着内に入ったレースの割合
この難易度の高い条件をクリアしたのはChatGPTのみ（13%）で、他のモデルはすべて0%という結果でした。ChatGPTの広いカバー力が垣間見える場面です。
推奨本命馬（◎）が3着内に入ったレースの割合
本命◎が3着内に入ったレースの割合では、ChatGPTが63%と最も高い数値を記録しました。
これに続くのは、Felo(o3mini)およびFelo(3.7sonet)の50%。その後に、Perplexity（42%）、GeminiとGrok3（ともに33%）、Felo(R1)（29%）という結果になっています。
現時点の総合的な順位
【第1位】ChatGPT
複数頭的中率や本命◎の成功率といった主要項目で高水準を記録。特に、本命◎が63%の確率で3着以内に入着しており、さらに推奨4頭のうち3頭が的中した唯一の例もあることから、総合的な実力の高さが際立ちます。
【第2位】Felo(o3mini)
推奨4頭中1頭以上が的中する割合が100%と、安定感は随一。ややインパクトには欠けるものの、堅実な精度を持ち、安定した予想力が評価して2位としました。
【第3位】Perplexity
推奨4頭中2頭以上が的中する割合が58%とトップ。ただし、本命◎の成功率が42%と上位2モデルにやや劣るため、3位という評価にとどまりました。
【第4位】Gemini
推奨4頭中1頭以上の的中率は高いものの、本命◎の成功率が33%と低めであり、上位陣に比べやや信頼性に欠ける結果となりました。
【第5位以下】Grok3／Felo(3.7sonet)／Felo(R1)
これらのモデルは、いずれの指標においても全体的に数値が低調であり、特に本命◎の成功率や複数頭的中率の面で他モデルに劣っているため、今回は下位評価とします。
まとめと今後について
■まとめ
現時点の競馬予想において、ChatGPTが総合的に最も優秀な精度を誇っていると評価できます。
次いで、Felo(o3mini)が安定感と的中率の両面で高く評価され、Perplexityが続きます。
Geminiはやや不安定ながら一定の成果を示し、その他のモデル（Grok3、Felo 3.7sonet、Felo R1）は現状では厳しい結果となりました。
■ 今後
ここまで検証を続けてきたことで、各モデルの特性が少しずつ明らかになってきました。
リサーチの特性上、以下のような制約が存在することも見えてきています。
レース直前の情報収集が有利
レース開催時間が近づくにつれて情報が出揃い、より鮮度の高いデータに基づいた予想が可能になる傾向があります。
人気薄の穴馬の選定が甘め
極端な大穴に対する印の打ち方はやや控えめで、的中にはなかなか繋がりにくい印象です（予想できている人が少ないから人気薄の穴馬）。とはいえ、中穴クラスまではしっかりと拾えており、一定の精度は期待できます。
バックテストが困難
過去レースを対象にした検証では、結果のリーク（予想時点で結果にアクセスしてしまうリスク）を完全に排除するのが難しく、実験としての信頼性に課題があります。
とはいえ、これらは致命的な欠点というわけではありません。
むしろ重要なのは、
今後のアップデートによりモデルの挙動や傾向が変わる可能性です。
これが安定性や予想スタイルに影響を与える可能性がある点は注視すべきでしょう。
今後は、的中精度の向上を優先しつつ、実験から見えてきた特徴や課題についてもレポートとしてアウトプットしていこうかと思います。
ということで、
まだまだ課題や作り込みはあるものの、今回の分析で高評価を得た上位3モデルを使って、挙動が変わる前に次回の高松宮記念で勝負してみようと思います！
ChatGPT：総合力No.1の予想力。広い対応力と高い的中率が魅力
Felo（o3mini）：抜群の安定性。堅実な予想でブレが少ない
Perplexity：高い精度と鋭い推奨が光る。特に複数頭的中に強みあり
今後のレースで、それぞれのモデルがどのように進化し、どんな予想を見せてくれるのか――引き続き注目していきます！
【次回】
#競馬 #競馬予想 #競馬情報 #競馬レポート #AI競馬予想 #競馬分析 #DeepResearch #競馬検証