エージェントと開発基準を作ったら、2日で9版・追加37件・削除0件になっていた

開発チーム向けの基準ドキュメントをAIエージェント（コーディング支援ツール）と一緒に作ったところ、2日で9版まで改訂された。その間に37個の項目が追加され、削除されたものは0個。v0.1 から v0.2 への改訂は1分で完了し、その後も次々と細部が修正され続けた。ドキュメント本文は306行に膨れ上がったが、これは作者自身が「文書は200行以内」という上限を課していたものだ。既に106行オーバーしている。エージェントは「整合性を高める」速度には特化していたが、その過程で、作者自身が課したルールを作者自身が守っていないという矛盾さえ見過ごしていた。

最大の問題は「整合性」と「実行性」の乖離だった。作者は文書内のリンク切れ、宛先のない参照、矛盾を何度も修正し、最後に「矛盾0件」を達成した。ドキュメント検証ツールも完全に通った。ところが、実際にこの基準に従ってプロセスを動かしたら、6個の壊れた箇所が即座に露呈した。領域の決定が実は人間判断なのに機械の判定として書かれていた、テンプレートのリンクがコピー時に全部切れる、スキップ理由の表に構造的な偽造が溜まるなど、「動かさないと分からない」タイプのエラーばかりだった。最終的に、発見されたすべての問題は「外部の指摘」と「実行」から来た。作者自身の整合性チェックからは0件だ。

ここから学べるのは、AIエージェントの得意と不得意のギャップである。エージェントは「書く」速度に特化していて、整合性チェック(Lint) も高速に実行できる。だが「その文書が現実で動くか」を検証することはできない。「実装と設計が噛み合うか」という検査は、実際に動かす人間にしかできない。中小企業が業務マニュアルや申請基準をAI生成ツールで作成する場合、「整合性チェックで合格＝完成」ではなく、「実際にその手順を1回回す」というステップが必須になる。さもないと、見た目は立派だが機能しない「空文」が完成してしまうのだ。