初めてKaggleに参戦してみた — ポケカ対戦AIで一時9位まで行って、落ちた話

Kaggleの対戦型AIコンペ「PTCG AI Battle Challenge」に初めて参加した記録である。ポケモンカードゲームの対戦AIを提出すると、提出エージェント同士が毎日自動で対戦し、スコアで順位が決まる。約2か月の間に、ランダム行動のスコア431から始め、最高で9位まで上がったが、その後540位まで落ちた。手法の転換点は、毎日全チームの対戦リプレイが公開されるという仕様に気づいたことだった。上位チームの「観測から行動へ」のペアを集めて模倣学習する行動クローンにより、スコアは大きく伸びた。推論はLightGBMの木を純Pythonで評価する形にして、外部ライブラリなしで時間制約に収めた。

AIの鬼の視点で面白いのは、勝率の高い教師を選んだつもりが、天井を作っていたという失敗の構造である。全体の勝率で教師を選ぶと、弱い相手ばかり狙って勝率を稼いだ教師が選ばれやすい。上位帯だけで見ると勝率は大きく変わり、1位のチームですら上位帯の相手には53.5%しか勝てていなかった。上位帯はほぼコインフリップの世界だという指摘は、ランキングの数字を信じすぎる人への良い警告になる。また、ローカルの対戦評価と公開スコアの相関は弱い正の相関しかなく、個別の採否判断には使えなかったという結論も、評価指標を作る側には耳が痛い話だ。作者自身がそれまでの解釈を自分で否定している点も誠実である。

中小企業の実務に置き換えるなら、一言で言えば「数字の母集団を見ろ」ということだ。売上や問い合わせの改善施策を評価するとき、全体の平均だけを見て判断すると、大事な顧客層での変化を見落とす。施策の効果は、集計の平均ではなく、本当に勝負すべき層を切り出して測るべきだ。そしてAIが出した「改善案」も、社内の小さなテストで良く見えたからといって本番でそうなるとは限らない。本番の結果で採否を決める運用に切り替えるだけでも、判断の質は上がる。