AIに夜の仕事を任せたら、「AIを信用しすぎない仕組み」ができた

ローカルLLMに「寝ている間に調べておいて」という指示を出したい。朝起きたら結果がまとまっている。そんなシンプルな要求から始まったのが「Overnight Worker」だ。実装が進む中で、最初は読み取り専用の調査員として、AIに「危ないことはさせない」という枠組みを敷いた。ファイル変更や外部送信は禁止。ただ調査するだけ。いわば「勝手なことをしない調査員」の役割に限定した。

それでも失敗した。タイムアウト、安全制御の過剰、LLMと処理の連携が複雑化。その度にAI側で修正が進み、公式のTool Callingへ移行し、HTTP 500への対応も加わっていく。ここで面白いのは、修正が進むたびに「AIに任せる部分」が増えた一方で、「AIに任せない部分」も明確に分かれていったことだ。AIが失敗する前提で、それを止める部分、途中状態を記録する部分、最後にまとめる部分が、人間の側で自動的に構築されていった。

最終的にできあがった構成は「AIなら何でも自由にできる」という夢ではなく、その逆だった。AIが失敗する前提の構成。細かい安全制御と振り分けロジックで枠を作り、その中でだけAIに動かせる。ここは重要だ。なぜなら、AIを使って仕事を高速化すると、人間の前に現れるのは「完成候補」の洪水になるからだ。以前は1つ作るのに時間がかかり、判断する回数も少なかった。今は短時間で次々と完成候補がやってくる。「これは本当に出していいか」という判断のコストが増える。

これは一見、矛盾に見える。AIに任せたら楽になるはずなのに、むしろ忙しくなった。だがそれは役割の転換である。作る作業は減ったが、作ったものを通すか止めるかの判断が人間の新しい仕事になった。中小企業がAIを導入するときも同じ構図が起きる。効率は上がるが、出力の品質判定という人間の新しい業務が生まれる。その準備なしにAI導入を進めると、むしろ業務負荷が増える。