AIのクラス到達予測、AIが見たことないデータで検証してみた
ウマアイ -eye×AI-では、募集時点の価格・測尺・血統統計だけを使って、この馬が将来どのクラスまで到達しそうかを予測するモデルを開発しています。
ただ、モデルを作る過程では、特徴の選び方やパラメータの調整に手元のデータを何度も使います。
そうなると「その調整に使ったデータで良い数字が出るのは当たり前」という問題がついて回ります。
そこで今回、開発中に一度も見ていない・触っていない世代のデータを最後にひとつだけ取っておき、初めて答え合わせをしてみました。
一度も見ていないデータを用意する、という考え方
対象にしたのは、キャロット2018年産(86頭)とシルク2014年産(72頭)。
この2つの世代は、モデルの特徴選びやパラメータ調整の際に一切使わず、完全に封印した状態で開発を進めてきました。
両世代ともすでに競走生活をほぼ終えている(平均出走回数11〜14回)ので、成績も出そろっています。
今回、この封印を初めて解いて、AIが出していた予測と実際の成績を突き合わせました。
この答え合わせは各クラブにつき1回しか行わない設計です。
結果が気に入らなくても、後から条件を変えてやり直すことはしていません。
まず勝ち上がり率(1勝以上)から
同じクラブの中でAIのスコアが高い順に上位10%を選んだグループ(キャロット9頭・シルク7頭)と、そのクラブ全体を比べてみます。
まずは一番基本的な指標、勝ち上がり率(1勝以上)から。
キャロット2018年産
全体の勝ち上がり率62.8%に対し、上位10%選抜は66.7%。ほぼ横ばいです。
シルク2014年産
全体61.1%に対し、上位10%選抜は100%。7頭全馬が勝ち上がりました。
シルク⇒やりました！パーフェクト！〇
キャロット⇒もう少し！▲
シルクは全馬勝ち上がりという結果でしたが、キャロットは正直、勝ち上がり率だけ見るとあまり差がついていません。
キャロットの本年の勝ち上がり率は母集団全体でもすでに6割超と高く、AIが上位に選んでも選ばなくても大半の馬が勝ち上がる規模の指標です。
本音を言えばもう少し差をつけたかったところですが、悪くなっているわけではないので許しましょう。
この後で見るオープン以上・重賞級以上という、より上のクラスに絞るほど、AIの選別効果がはっきり出てきます。
何はともあれ、大外れじゃなくて本当に良かった…。
オープン以上到達率は、全体の2.4〜3.4倍
ここからは、より上のクラスに絞って見ていきます。
キャロット2018年産
全体のオープン以上到達率18.6%に対し、上位10%選抜は44.4%。
2.4倍です。
シルク2014年産
全体16.7%に対し、上位10%選抜は57.1%。
3.4倍です。
2クラブとも、AIが上位と判定したグループは実際にオープン以上へ到達した割合が明確に高い結果でした。
正直、これは嬉しい結果です。
重賞級以上では、クラブによって結果が分かれた
もう一段上、重賞級以上に絞るとどうなるか。
キャロットは全体7.0%に対し、上位10%選抜が22.2%。
3.2倍。こちらも明確に上回りました。
一方、シルクは全体1.4%に対し、上位10%選抜は0.0%。
……あれ、と思った方もいるかもしれません。
種明かしをすると、シルク2014年産72頭のうち、実際に重賞級以上へ到達したのはわずか1頭。
AIはその馬を全体15位と評価していました。
上位10%は7頭までなので、あと8つ足りませんでした。
おしかったー!
重賞級を外したというより、母集団に重賞級の馬が1頭しかいない中で、その1頭を上位7頭に押し込めるかという、1頭の位置だけで的中・不的中が決まる不安定な検証だった、というのが実態です。
それでも価格順よりは上にしていたのでAIも評価は出来ていたんですけれどね…もう一歩でした。
どう見るべきか
一度も調整に使っていないデータで、上位10%選抜のオープン以上到達率が2クラブとも全体の2倍以上。
これは手応えあり。
開発中に何度も見ていたデータで良い数字が出るのは当たり前ですが、今回は完全に封印していた世代で初めて確認できた数字だという点が重要です。
実際、この封を切るのはかなり緊張しました（笑）
一方で、対象は2クラブ、上位10%選抜は9頭・7頭というサイズ。
1頭の入れ替わりで倍率が動く場面があるのも事実です。シルクの重賞級が、まさにそれでした。
この規模の検証を1回やって終わりにするつもりはありません。
今後もクラブや世代を増やしながら同じ形の答え合わせを重ね、実力値を継続してアップデートしていきます。
まとめ
モデル開発に一切使っていない封印世代(キャロット2018年産86頭・シルク2014年産72頭)で、初めて答え合わせを実施
勝ち上がり率(1勝以上)は、キャロットがほぼ横ばい(62.8%→66.7%)、シルクは上位10%選抜が7頭全馬勝ち上がり(61.1%→100%)
オープン以上到達率は、AIの上位10%選抜が全体の2.4倍(キャロット)・3.4倍(シルク)
重賞級以上は、キャロットが3.2倍。シルクは母集団の該当馬が1頭のみで、僅差の選外(おしかったー!)
クラスが上がるほど(勝ち上がり→OP以上→重賞級以上)、AIの選別効果がはっきり出る傾向
関連記事
※本記事のデータはウマアイ -eye×AI-独自データベースの集計・検証結果であり、特定の個体の将来の成績や的中を保証するものではありません。