朝起きたら、AIがバグを直してコミットしていた

受託開発会社が毎週金曜の昼、AIに自動でコード修正を任せている。その朝、寝ている間にAIは2週間積み残していたバグを修正し、テストを19件追加して、全部通すことを確認してからコミットした。頼んでもいない。何もかも自動だ。これを聞くと「AIが常時稼働で働いている会社」と思うかもしれないが、実際は違う。決まった時刻に起きるバッチ処理だ。SNSで流れてくる「AIが勝手に働くダッシュボード」の実例をいくつか原典まで読んでみると、常時稼働をうたっているものでも実際はバッチか手動起動がほとんどで、その数字が本当に金を生んでいるか裏が取れている例はほぼ見つからない。この会社が怖さを感じなくて済むのは、なぜか。答えは権限の設計にある。AIに権限を渡す前に機械の関所を置いた。型チェック、テスト、記録。全部通らないと本番反映のコマンド自体が実行できない。金曜のAIが直せたのはこの門の内側の話だからだ。ただ、その関所にも穴があった。月次の点検で、複数案件の並行運用で通行証の照合が「いつ発行されたか」しか見ていなかったことが発覚した。別案件の本番操作が30分間素通りできていた。最悪なのは、その間ずっと検査プログラムは「合格」を出し続けていたことだ。見張りが合格と言っている＝健全である、という前提が根底から揺らぐ。受託で金と信用が飛ぶのは遅かったときではない。壊したときだ。AIを任せるなら、速さより「任せて壊れないようにする仕組み」こそが本題だ。検査が合格と言っているだけでは、何も保証されていない。その事実だけは、AIの有無に関わらず組織として覚えておく必要がある。