CLAUDE.mdは書いても守られない——ルールが効かなくなる3つの理由と、22件の事故から学んだハーネスエンジニアリング

ルール文書があっても、同じミスが繰り返される。自分で書いたルール21,429字に対して、事故記録は22件。技術的・人間的・規模的な理由から、「文書に書く」という伝統的な統制手法が、AIエージェント運用では機能しなくなっていることが明らかになった。昨年6月21日を最後に、45日間の事故ゼロが続いているのだが、その転換点は興味深い。ルール文書をさらに厚くすることではなく、実行フロー自体にガードを組み込むことだったのだ。

ここで面白いのは、著者がテキストルール文書から「実装レベルの統制」へと判断を切り替えたことだ。最初の3年間は、「〇〇を確認する」「〇〇は禁止」とルール文書を増やしていたのに、それでも同じ事故が繰り返されていた。その理由は、AIモデルの訓練済みパターンがテキストルールより優先されるからだ。特に複数操作を一度に組み立てるときに、最初に読んだルールが生成時に抜け落ちてしまう。著者が実装した対策は、type: "command" フックに終了コード2でのブロック処理を落とし、そもそも実行不可にすることだった。人間なら「ルール」という概念的制約で止められるが、AIはそうではない。AIを動かす環境では「ルール＝文書」から「ルール＝実装」へのシフトが必然だということだ。

あなたの会社の業務マニュアルや承認ルール、AI導入時の指示書も、同じ現象に直面する。文書で「必ず確認してから実行する」と書いても、AIは複数ステップを一度に組み立てるときにそのルールを無視する。その時点で「ルール文書は飾り」と気づくことだ。効く統制は、ルール文書の充実ではなく、システムレベルで「そもそもできない」に変える仕組みにある。