AIの募集馬診断…その実力は！？
AIのクラス到達予測、ここまでわかった ― 検証結果まとめ
ウマアイ -eye×AI-では、募集時点の価格・測尺・血統統計だけを使って、この馬が将来どのクラスまで到達しそうかを予測するモデル(クラス到達モデル)を開発しています。
このモデルについて、まとまった量の検証(7,000頭以上)を行いました。
今回は全体の成果として、どれくらいの差が出ているのかを複数の切り口でまとめます。
AI評価の高い馬と、低い馬。その後の成績
まず全体像から。
成績が確定している10クラブ・4,216頭を対象に、クラブごと・年度ごとにAIのスコア順で並べ、上位20%(877頭)と下位20%(858頭)を比べたものです。
勝ち上がりで1.73倍、2勝以上で2.09倍、オープン以上で2.88倍。
そして重賞以上になると5.80倍。
上のクラスを目指すほど、AI評価の高いグループと低いグループの差は広がっていきます。
「結局、高い馬を選んでいるだけでは?」
一番いただきそうな疑問がこれだと思います。
募集価格が高い馬はそもそもよく走るので、価格の高い馬を上位に置いているだけなら、当たり前の結果を並べているにすぎません。
そこで、価格帯を揃えた上で比べました。
募集価格の低位・中位・高位でグループを分け、それぞれの中だけでAI評価の高低を比べています(キャロット・シルク2クラブ)。
どの価格帯でも、AI評価が高い方が上回りました。
価格が高めの層では35.0%対20.3%と差が大きく、価格が低めの層でも11.1%対8.3%で逆転はしていません。
値段がぴったり同じ馬どうしでも
もっと厳しい条件も試しました。
募集価格がぴったり3,000万円だった馬だけを集めた102頭です。
値札が完全に同じ馬どうしで比べても、勝ち上がりで72.5%対54.9%、オープン以上で21.6%対13.7%。
差は残りました。
価格をそのまま言い換えているだけではない、ということの一つの根拠だと考えています。
一度も見ていないデータでは、どうだったか
ここまでの検証には、ひとつ疑問があります。
モデルを作る過程で、特徴の選び方やパラメータの調整に手元のデータを何度も使っている以上、「調整に使ったデータで良い数字が出るのは当たり前」という問題がついて回ることです。
実際このテストをする際はその募集時期まででわからなかった未来の成績や情報はすべて遮断して行なっています。
さらには最近の傾向に合わせるために、調整用年代とテスト年代を分けてツールを作り上げました。
しかしながら更に厳密にテストするために、開発期間中いっさい参照しなかった2つの世代を用意し、設計をすべて決め切ってから最後に一度だけ開封しました。
キャロット2018年産86頭と、シルク2014年産72頭です。
重賞級に到達した6頭、すべて価格より高く評価していた
キャロット2018年産で重賞級以上に到達したのは6頭。その6頭すべてで、AIの評価順位が募集価格の順位より上でした。
いちばんわかりやすいのがエフフォーリアです。
募集価格では86頭中43位という、ごく普通の中位評価。価格順に上位10%(9頭)を選んでいたら、候補にすら入っていません。AIはこの馬を17位まで引き上げていました。
もちろん17位も上位10%には届いていないので、「完璧に当てた」という話ではありません。
それでも、価格以上に大幅に評価をしていた、ということになります。
もう一方のシルク2014年産でも、AI評価の上位5頭が全頭2勝以上に到達しました。
→ AIのクラス到達予測、一度も見ていないデータで検証してみた
同じ世代で、正反対の2頭
封印データ以外の世代からも例を挙げます。
この世代で3番目に高かったヘアケイリー(7,000万円)を、AIは79頭中30位まで下げていました。中央では7戦して未勝利のまま引退しています。
一方、価格では31位だったピクシーナイト(3,200万円)を12位まで引き上げていました。こちらはGI級に到達し、中央獲得賞金は22,320万円です。
同じ年・同じクラブで、値段の高い方が走らず、AIが引き上げた方が走った。募集価格だけを見ていたら、逆の結論になっていた組み合わせでした。
価格では目立たなかった馬たち
同じような例は、ほかの世代にもあります。
アマンテビアンコ(シルク2021年産)は、募集価格4,000万円でクラブ内35位。AIはこれを9位に置いていました。
2024年の羽田盃(JpnI)を勝ち、総賞金は地方獲得分を含めて8,330万円です。募集価格に対して2倍を超える金額になりました。
ダンビュライト(サンデー2014年産)は、募集価格3,600万円・クラブ内22位からAI評価7位。重賞級に到達し、中央獲得賞金は31,150万円でした。同じ世代で募集価格が最も高かった馬は3勝止まりです。
他には社台サラブレッドクラブ2015年産のステイフーリッシュも、募集価格5,000万円・AI評価順位8位という目立たない評価から重賞級に到達しました。中央獲得賞金29,730万円は、この世代の評価上位10頭の中で最も高い数字です。
正直に出来ていないこと
良い結果ばかりではありません。
重賞級のような稀な到達は、母数が少ない条件では倍率そのものが計算できなくなります。シルク2014年産は該当馬が1頭しかおらず、その1頭が上位7頭に入るかどうかで結果が決まる不安定な検証でした。
AI評価が低いまま化けた馬も普通にいます。シルク2014年産では、評価60位・48位(未勝利圏内/一勝クラス予想)だった2頭がどちらもオープン級まで到達しました。
低評価から化けるケースの取りこぼしは、いまのモデルでも残っています。
(だからこそこのAI評価が全てではないと言い切れます)
また4段階のクラスをピンポイントで当てる精度そのものは、全てを未勝利クラスと答えるより劣ります(的中精度35-50％程度)。
このモデルが強いのは「上位・下位の粗い選抜」であって、段階の当てっこは得意ではありません。
まとめ
10クラブ・4,216頭で見ると、AI評価上位20%は下位20%に対しオープン以上到達率で2.88倍、重賞以上で5.80倍
価格帯を低位・中位・高位に分けても、すべての層でAI評価の高い方が上回る
募集価格が完全に同じ馬どうし(102頭)で比べても、差は残る
開発中に一度も参照していない封印データでも同じ傾向を確認(記事38)
キャロット2018年産では重賞級到達馬6頭全員を価格より高く評価。シルク2018年産では価格3位の馬を30位まで下げ(中央未勝利)、価格31位の馬を12位まで上げていた(GI級)
ピクシーナイト・アマンテビアンコ・ダンビュライトなど、募集価格ではクラブ内20位以下だった馬をAIが上位に置いていた例がある
一方で、低評価から化けた馬の取りこぼしは残っている
※本記事のデータはウマアイ -eye×AI-独自データベースの集計・検証結果であり、特定の個体の将来の成績や的中を保証するものではありません。