小規模サイトでA/Bテストを提案されたAIが「やらない」と答えた話

小規模なコミュニティサイトで、トップ画像のA/Bテストを提案されました。1人の大きな顔のアップと、複数人で遊ぶ写真のどちらを1枚目にすべきか、という判断です。一見してA/Bテスト向きのお題に見えたのですが、AIエージェント（Claude Code）に設計を任せたところ、返ってきた結論は意外なもので、「このA/Bテストは実施しない」でした。理由は5つです。第一に、月2千セッション台のトラフィックでは、50対50に割った時点で統計的に有意な差を検出できるサンプル数に達しません。第二に、判定指標として指定された「CTA着地率」は、実装上は別のイベント名で送られており、計測と測定意図がズレていました。第三に、GA4の計測基盤にABテスト用のカスタムディメンションが未登録で、走らせても群別のデータが出ないという根本的な実装漏れがありました。第四に、B案の写真はモバイル表示では元画像の46%しか見えず、撮影時と全く違う構図に見える問題がありました。第五に、2枚の写真は顔比率・人数・構図・色調が同時に異なる多変量で、「顔比率」の検証になっていないという交絡因子の問題がありました。

AIの鬼が看過できないのは、このAIエージェントが「やらない判断」を下せたことの重要性です。経営判断の現場では「とりあえずやってみる」が主流ですが、無駄なテストは時間と機会費用を無限に食います。A/Bテストは「試すための技術」ではなく「意思決定に必要な有効な情報を得るための技術」です。計測パイプラインが完成していない、サンプル数が足りない、指標が実装と合致していない、という段階で始めたら、期間だけ消費して何も分からないまま終わります。統計の教科書は「何件必要か」を教えますが、実務的にはその前に「やるべきか」の判定が先だということです。

代わりにこのAIエージェントが検出したのは、別の価値でした。調査の副産物として、本番環境のすべてのユーザーに起きていた表示の問題（モバイル表示時の写真の切り抜き位置が要件を満たしていない）が見つかり、即座に修正されました。A/Bテストは保留のままですが、全員に益する改善が先行した、という判断です。中小企業がデータに基づく改善を目指す際、「テストの前に、実装の正確さを徹底的に確認する」というステップが、予想外に重要な効率要因になります。