毛色診断（ver2.1）の予測精度：募集馬AIをLOYO・年度外検証で評価

概要 Abstract

毛色診断2.0の年度外holdoutで賞金順位Spearman ρ=0.290だったのに対し、毛色情報を母3代まで拡張し組み込んだver2.1の過去年外挿holdoutではρ=0.313まで向上した。
毛色診断（ver2.1）は上位候補への濃縮に特化し、過去年外挿holdoutの上位3%で賞金捕捉率10.9%、OPクラス濃縮倍率3.96倍だった。年度ごとの追試を注視し、性能を見極める必要がある。
毛色診断（ver2.1）は将来を断定するものではなく、追加確認する候補を絞る補助スコアとして用いる。

背景 Background

毛色診断（ver2.1）は、募集時点で観測できる血統・毛色カテゴリー・募集情報・測尺などから、将来の賞金順位とOP以上到達を別々に評価する募集馬向けランキングモデルである。将来の賞金や到達クラスは入力せず、両スコアを順位化して賞金50%、OP50%で合成する。単一の的中確率ではなく、賞金面と上位クラス到達面を両立させ、詳しく確認すべき候補を上位へ濃縮することを目的とする。

目的 Objective

募集時点で観測できる情報だけを使い、毛色診断（ver2.1）が将来の賞金順位とOP以上到達馬をどの程度並べ替えられるかを検証する。評価は年度をまたいだ未知データで行い、良い単年度だけでなく全期間の結果も示す。

全世代LOYO

N=3,705
賞金順位 ρ=0.239
OP ROC-AUC=0.664
PR-AUC=0.204

過去年外挿holdout

N=3,536
賞金順位 ρ=0.313
OP ROC-AUC=0.720
PR-AUC=0.234

直近年度holdout

N=323
賞金順位 ρ=0.320
OP ROC-AUC=0.782
PR-AUC=0.257

方法 Method

LOYO（Leave-One-Year-Out）は年度を一つずつ検証側へ外す方法、OOF（Out-of-Fold）はその馬を学習に使わないモデルによる予測を指す。Spearman順位相関は予測順位と実順位の対応、ROC-AUCはOP馬と非OP馬の順位識別、PR-AUCは少数であるOP馬を拾う精度と再現率を要約する。

結果 Results

全期間と年度外検証を分けて読む

全世代LOYOは賞金順位ρ=0.239、OP ROC-AUC=0.664だった。過去年だけで学習する外挿holdoutはρ=0.313、AUC=0.720、直近年度はρ=0.320、AUC=0.782である。直近年度の値は良好だがN=323の単年度評価であり、全期間の代表値とは分けて扱う。

検証方式別の主要評価値
検証方式	N	賞金ρ	OP ROC-AUC	PR-AUC
全世代LOYO	3,705	0.239	0.664	0.204
過去年外挿holdout	3,536	0.313	0.720	0.234
直近年度holdout	323	0.320	0.782	0.257

全世代LOYO、過去年外挿holdout、直近年度holdoutの賞金順位Spearman、OP到達ROC-AUC、PR-AUCを比較した図。 — Figure 1. 検証方式別の賞金順位相関、OP ROC-AUC、PR-AUC。

A〜G評価は実到達クラスと対応する

過去年外挿holdoutでは、A評価のOP以上到達率は28.9%、G1到達率は8.2%だった。G評価ではOP以上3.1%、G1 0.1%である。一方、Aにも未勝利馬が29.6%含まれ、評価帯は成功を保証する区分ではない。

毛色診断（ver2.1）の予測AからGを上から並べ、各帯のG1、重賞、OP、3勝、2勝、1勝、未勝利の実到達クラス構成を示した100%積み上げ横棒グラフ。 — Figure 2. 過去年外挿holdoutにおける、予測A〜G別の実到達クラス構成。

上位候補へ賞金・OP到達馬を濃縮する

全世代LOYOの上位3%は112頭で、全賞金の9.6%とOP到達馬43頭を含み、OP到達率は母集団平均の3.78倍だった。過去年外挿holdoutの上位3%は107頭、賞金捕捉率10.9%、OP濃縮倍率3.96倍。直近年度の上位3%は10頭と少ないため、値の振れに注意が必要である。

総合スコア上位3%、5%、10%、20%の賞金捕捉率とOP濃縮倍率を、検証方式別に示した図。 — Figure 3. 上位割合別の賞金捕捉率とOP濃縮倍率。

年度によって精度は変動する

LOYO各年度の賞金ρ中央値は0.258（範囲0.082〜0.552）、OP AUC中央値は0.691（範囲0.564〜0.827）だった。単年度の良い結果だけを将来へ一般化せず、年度差を前提に使う必要がある。

募集年ごとの賞金順位SpearmanとOP到達ROC-AUCの変動を、検証方式別に示した図。 — Figure 4. 年度別・fold別の性能変動。

使い方 Practice

A〜G評価と総合スコアは、候補を並べ、動画・馬体・健康情報・育成状況・価格を追加確認する順番を決めるための補助情報である。Aだから出資、Gだから除外という自動判断には使わない。

Take-home. 毛色診断（ver2.1）の役割は予言ではなく、人が詳しく確認すべき候補を絞ることである。

限界 Limitations

対象はクラブ募集馬であり、全競走馬を代表する母集団ではない。
全世代LOYOと、過去年だけで学習する外挿holdoutでは学習年度の向きが異なる。
直近年度はN=323、上位3%はN=10であり、不確実性が大きい。
毛色・白斑などは観測可能な表現型であり、能力への因果効果を示すものではない。
独立した外部集団での再検証が必要であり、本レポートは出資成果や将来成績を保証しない。