エージェントの自己改善ループで偽の成功を防ぐ設計

AIエージェントに「失敗を観測し、改善案を作り、検証して完了する」ループを任せるのは簡単に思える。だが難しいのは改善案ではなく、失敗を成功と見誤らないことだ。Windows PowerShellでRPA自動化を実装した経験から、その設計を整理した記事が出ている。基本は「状態遷移を明文化する」「検証を呼び出し元に自己申告させない」「試行回数と反復数に上限を置く」「不確実な終了は成功ではなく証拠付きの停止にする」という4つだ。 キーは「検証を自己申告させない」ことだ。通常のAPIなら、呼び出し元が「検証成功」と報告すれば、システムがそれを信じる。しかし自動改善ループではこれが危ない。偽りの検証報告を許すと、実は失敗している改善案がループを抜け出し、ユーザーのもとへ届く。対策は、検証の成功をコントローラだけが生成する証拠にすること。下位エージェントはあくまで「修正案を作った」と報告するだけで、「成功した」とは言わせない。加えて試行回数の上限、同じ失敗の3回繰り返し禁止、ログを単語一致ではなく構造化JSONの決まったフィールドだけで見るといった、つまらないが堅い仕組みが必要だ。 これは中小企業のRPA導入と同じ教訓だ。「自動化できる部分を自動化する」のは簡単。難しいのは「自動化が失敗したときに誰も気づかない」事態を防ぐことだ。本当に堅いシステムは、自律性をわざと制限し、判断が曖昧なら人に上げる設計になっている。