AIに夜通し働かせるとき、事故らせないために引いた境界線

AIエージェントを寝ている間に走らせるのは時間を有効活用するいい方法だ。利用枠に上限がある契約なら、寝ている時間は枠がまるごと余る。片方に調査をさせ、もう片方に実装をさせるという並列性も取れる。ただし設計なしに走らせるなら、朝起きたときに大量の後始末が待っているリスクがある。著者は実際に3度の事故を起こし、そこから「何を任せて何を任せないか」という境界線を引いた。

実際の事故はどれも「出す」という行為が絡んでいた。稼働中のサーバーポートを塞ぐ、認証情報が入ったディレクトリをコミットしかける、バックアップをpushしてしまう。どれも「作る」段階ではローカルだけなら被害は限定的だが、push・投稿・送信になると取り返しがつかない。そこで著者が引いた線はシンプルだ。夜間実行の指示には毎回「push・公開・送信は一切しない。本番環境には触らない。迷ったら『やらずに報告書へ書く』」と書く。成果物は「最後のボタンだけ人間が押す」状態で止める。迷ったときの既定動作を決めておくと、エージェントは無理に前へ進まなくなる。

AIの鬼の視点から見ると「止まる余地を残す」というのが重要だ。全部を細かく指示してしまうと、エージェントは指示どおりに進み、判断を仰ぐ機会も失う。実例がある。SNS修正を頼んだときにエージェントが「現状を確認したところ、指示の前提が成り立っていません。判断をください」と止まり、著者が営業情報を消すところだったことに気づいた。完了検知も重要だ。複数のエージェントを走らせるとき、投げたら即座に「完了待ち」をバックグラウンドに置かないと、司令塔自身が止まって待つことになる。並列の意味が失われる。

中小企業で業務自動化に手を付けるなら、この3つは必須だ。何を禁止するか。どこで止めるか。止まったことをどう知るか。プロンプト工夫も大事だが、この運用設計がないと、便利なツールが夜中に火種になる。