DeepResearch競馬予想レポート13｜アンタレスS、中山グランドジャンプ、福島牝馬S、皐月賞の結果
【前回の結果】
今回は、アンタレスS、中山グランドジャンプ、福島牝馬S、皐月賞におけるAI予想とその結果をご報告します。
今回から新たにChatGPT(3.5)、ChatGPT(4o mini)、Felo(4o mini)の予想を追加し、試行回数は少ないながらも集計を開始しています。
【予想と結果】
・アンタレスステークス（GⅢ）
・中山グランドジャンプ（J・GⅠ）
・福島牝馬ステークス（GⅢ）
・皐月賞（GⅠ）
【集計結果】
推奨馬４頭の３着内的中率
本命馬◎の３着内的中率
AIモデル 競馬予想比較まとめ
1. 目的
複数の大規模言語モデル（LLM）が提示する競馬予想の成績を評価。
評価指標：的中精度と本命馬の信頼度に関する6指標。
試行レース数を考慮した信頼度補正を行い、総合ランキングを作成する。
2. データ概要
評価指標（精度指標）:
① 推奨4頭中3頭が3着内 (%)
② 推奨4頭中2頭以上が3着内 (%)
③ 推奨4頭中1頭以上が3着内 (%)
④ 本命◎ 1着 (%)
⑤ 本命◎ 2着内 (%)
⑥ 本命◎ 3着内 (%)
分析対象モデル:
ChatGPT (o1/o1 pro/o3 mini/o3/o4 mini)
Gemini (2.0 flash/2.5 pro)
Perplexity
Felo (o3 mini/o4 mini/3.7 sonet/R1)
Genspark
Grok
試行レース数:
ChatGPT(o1): n=16
ChatGPT(o1pro): n=10
ChatGPT(o3mini): n=6
ChatGPT(o3): n=4
ChatGPT(o1): n=16
Gemini(2.0flash): n=23
Gemini(2.5pro): n=7
Perplexity: n=26
Felo(o3mini): n=16
Felo(o4mini): n=4
Felo(3.7sonet): n=17
Felo(R1): n=11
Genspark: n=10
Grok: n=24
3. スコアリング設計
3-1. 元の指標および方法論 (重み付け)
実務上のリターン価値に基づき、6つの指標に以下の重みを設定。
3-2. 複合スコアランキング (総合スコア - 素点)
各指標のパーセンテージ (0–100%) を上記の重みで加重平均し、総合スコア（素点）を算出。
算出された総合スコアの分布：
平均値 ≈ 35 点
最高値 ≈ 59 点
4. 信頼度調整
各モデルの試行レース数（N）の違いによるスコアのばらつきを抑制するため、ベイズ手法を用いて信頼度補正を行いました。
事前情報として「試行レース数 10、平均スコア 35 点」を設定し、以下の式で調整スコアを算出しました。
$$ \text{調整スコア} = \frac{\text{総合スコア} \times N + 35 \times 10}{N + 10} $$
この補正により、試行レース数Nが少ないモデルのスコアは事前平均（35点）に近づき、逆に Nが多いモデルのスコアは元の総合スコアに近い値が保持されます。
5. 最終的な全体ランキング
6. コメント (考察)
6-1. 上位モデルの特徴
ChatGPT(o1 pro):
総合的なバランスが良く、特に本命◎の信頼度が高い水準。
Felo(o4 mini):
試行レース数は4Rと少ないが、「推奨4頭中3頭的中 25%」「本命◎ 1着 50%」と突出した成績。継続的な検証が必要。
ChatGPT(o3 mini):
本命◎関連の指標（1着、2着内、3着内）で全モデル中トップクラスの性能。
Genspark:
的中率全般が高めで安定しており、ムラが少ない。保守的な運用に向いている可能性。
6-2. サンプルサイズの影響
N 15以上のモデル:
ChatGPT(o1), Gemini 2.0 flash, Felo(o3 mini), Grok など。
信頼度調整後もランキングの大きな変動は少なく、スコアの信頼性が比較的高い（実力が裏付けられた形）。
N < 10のモデル:
信頼度調整により、スコアが平均値に向かって 3〜15 ポイント程度縮小。
これらのモデルについては、今後試行レース数を増やして再評価することが不可欠。
7. 運用への示唆
各モデルの強みに合わせた運用戦略の提案。
8. 今後の課題
サンプル拡張:
試行レース数が少ないモデルについて、最低 15 R 程度までデータを追加し、再評価を行う。
9. まとめ
信頼度調整後のスコアでは、ChatGPT(o1 pro) が総合首位となった。
ただし、Felo(o4 mini) のように試行サンプルは少ないものの潜在的な高性能を示すモデルも存在する。今後のデータ追加によりランキングが変動する可能性は十分にある。
現時点での実務運用においては、
「堅実枠」: ChatGPT 系モデルや Gemini 2.0 flash など、比較的サンプル数が多く安定した成績のモデル。
「攻め枠」: Felo(o4 mini) など、サンプルは少ないが爆発力を秘めたモデル。
これらを組み合わせた ハイブリッド運用 が最も効率的と考えられる。
【次回】
作成中
＜検証条件＞
【対象レース】
・アンタレスステークス（GⅢ）
・中山グランドジャンプ（J・GⅠ）
・福島牝馬ステークス（GⅢ）
・皐月賞（GⅠ）
【リサーチ条件】
実行日時：2025/4/19~4/20, 開催当日の昼頃
レポート内容:
・総論（レース全体像、特徴、注目点）
・予想専門家の視点で分析と考察と各馬の採点
・注目馬4頭（◎本命、○対抗、▲単穴、★大穴）
その他：本命、対抗、単穴、大穴を定義
・本命◎: 最も勝つ可能性が高いと予想される馬。
・対抗○: 本命に次いで勝つ可能性が高いと予想される馬。
・単穴▲: 展開次第で上位に食い込む可能性がある馬。
・大穴★: 勝つ可能性は低いものの、当たれば高配当が期待できる馬。
【モデル条件】
・ChatGPT：o1pro/o3/o4mini,Deepresearch
・Gemini：2.0 Flash/2.5pro,Deepresearch
・Grok：Grok3 ,Deepersearch
・Genspark: ディープリサーチ
・Perplexity：ディープリサーチ, WEB
・Felo：o4mini/3.7sonet/R1, ディープ, WEB
【その他】
・基本的にはone-shotでの指示