「有意差なし」を「差が出た」と読んでいた — A/B の答え合わせをやり直す（#25 投稿前予測）

記者は投稿動画のうち「どのクリップが伸びるか」を事前に予測して、後で実測と突き合わせるというサイクルを回している。今回のテストは「既知性を第1軸にするか、それとも AI 実務密度を第1軸にするか」を決めるための対照実験だった。A 群は TypeScript のような既知の技術、B 群は AI コーディング実務に尺の 85% を費やしたクリップ。結果は B が中央値・最大値ともに上回った。記者は一度「B の勝ち。軸を変更する」と書いた。しかし統計検定をやり直すと、その勝敗には有意性がない。p 値 0.772、効果量 0.540。この差は「偶然と区別できない」という判定になる。記者は自らこの誤りを訂正している。

AIの鬼として感じるのは、ここの「落とし穴」の深さだ。見かけの数字（B が 692.5、A が 648.5）だけを見て「B が勝った」と判定するのは、実は何も判定していないのに等しい。より深刻なのは、実験の設計上の無力さだ。検出力を計算すると、n=10 vs n=10 という標本数では「2倍以上の差」しか拾えないことが分かった。実測された差は 1.07 倍。つまりデータが完璧でも、この実験では判定不可能だった。これは「対策を立てる前に、その対策で何が測れるのかを測るべきだった」という反省だ。AI 時代に「データが増えた」と安心しているうちに、実は数値と判断を取り違えている企業は多いだろう。因果推論とスナップショット観察は別物だ。

中小企業が AI を使ってマーケティングや営業の判断をするときも同じ。「AI が予測を出した＝判定ができた」ではなく、「その予測が有効なレベルか」を問わなければならない。虚偽の確実性に基づいて大きな意思決定をするほど危ないことはない。