AIに100通り試させたら、効果ゼロなのに5個が「有意」だった

AIエージェントに施策の検証を任せると、人間では考えられない数の組み合わせを短時間で試せる。今回の記事では、セグメントを100通り切って全部測り、勝ったものを報告させるという手順の結果が示されている。ただし表はすべて、乱数だけで動くスクリプトの実測値だ。外部データは使っていない。AとBは同じ仕組みで、真の効果はゼロに設定されている。それでも「有意」と判定された組み合わせが5個出た。

ここが面白いところで、同時に一番怖いところでもある。統計的有意を5%の基準で判定すると、効果がないものでも偶然「当たり」が出る確率は約5%ある。100回試せば、理屈の上で5個前後の当たりが出るのは当然だ。AIは疲れないから、人間なら途中でやめる回数をそのまま回し切る。その結果、「AIが発見した勝ち筋」の正体は、試行回数の多さが生んだ偶然の山だったことになる。筆者が最初に発見だと思ったのは、この仕組みに気づかなかったからである。AIの検証は速いことが売りだが、速く回すほど偶然を拾う速度も上がる。速さは、誤りを増やす装置にもなる。

中小企業の実務に効く一言はこうだ。AIや外注先が「有意差が出た」と報告してきたら、まず「何通り試したか」を聞け。試した数を答えられないなら、その結果は採用しない。広告の文面、価格の見せ方、メルマガの件名。どれも少ない件数で比べるなら、勝ち負けより「本当に差があるか」を先に疑うべきだ。