LLMレビューが終わらないのは、自分の修正のせいか — 108ラウンドを検証した

ある運用手順書を2つのLLMに繰り返しレビューさせ、指摘を直す→また読ませるを108ラウンド続けた。2つが同時に「指摘なし」になったことは一度もない。修正後も必ず別の指摘が出る。これを「修正が新しい欠陥を作っている」と疑うのは自然だ。最初の集計では、編集した節が次も指摘される確率59.2%、編集していない節は19.5%で、39.7ポイントの差があった。仮説を強く支持している。ところが統計的に厳密に調べると、この差はほぼゼロになる。

カラクリは交絡因子だ。最初の差には「指摘されやすい節ほど編集も多い」という偏りが隠れていた。同じ節について「編集した回」と「編集しなかった回」だけを比べると、差は39.7から15.0ポイントに縮む。次にさらに厳しく「前回すでに指摘されていた節」という条件を揃えると、編集した場合も編集しなかった場合も次に指摘される確率は56.3%で、差は0.0ポイントになる。つまり修正が悪いのではなく、もともと問題の多い節を何度も掘っていただけだったのだ。

ここから得られる実務的な一言は、シンプルだ。レビューループが長引くときは「修正がヘタだ」と自分を責める前に、「同じ節を何度も指摘していないか」を数えてみろ。統計的に差を測るときは、調べたい原因と別の要因の交絡に気づくまで、結論を保留しろ。素朴な相関と因果の間には大きな距離がある。自分の不安は、実はデータの読み方の不備かもしれない。