本番で壊れたAIエージェント — 失敗と対策の実践書

ハードを実際に本番出荷し、実マネーを張っている企業が、AIエージェントを運用して踏んだ失敗を、35件の台帳として記録し、その中から主要10章を抽出した実践書です。重要なのは「ハウツー本」ではなく「失敗の構造化」である点。製造業の不具合管理手法を、そのままAIエージェントに適用しています。

製造業では不具合を「作りこみ」と「流出」という二軸で分類します。作りこみは設計・製造段階での不具合、流出は出荷後に顧客から指摘される不具合。この考え方がAIエージェントの失敗分析にも当てはまるという着眼が秀逸です。「1分で終わる依頼が全ページの表示不能を起こした」「import行872回の重複を差分だけが検知した」「AIの『ついで実装』が予期しない動作を招いた」といった実例は、単なる注意点ではなく、何が本番前に防ぐべき設計ミスで、何が検知ルールで止めるべき流出リスクかを示しています。

特に重要な章立ては「やりたいは、やっていいではない」「読み取りのつもりが書き込みになる」「判断はコード、文章はLLM」といった、実装側の判断ルールです。製造業なら、削除や加工といった不可逆操作には承認ゲートがあります。そのゲートがAIエージェントには無いまま運用されている企業が多い。あるいは「AIが読むつもりだった」が実は書き込み権限を持っていた、という権限設計の甘さ。本書は「AIは便利」という理想論ではなく、本番環境の中で何が爆発するのかを、事例ベースで先読みさせてくれます。中小製造業がAIエージェント導入を検討するなら、この失敗台帳から学ぶことの方が、ベンダーのセールストークよりも価値があります。