エージェント『完了』、データベースは別データ

Microsoft と Hugging Face が共著した「ThinkingBox」というベンチマークが示すのは、AI エージェントの本当の姿だ。エージェントが「完了」と言ったことが、本当に完了しているかどうか、実際のデータベースに問い合わせると答えが食い違う。

具体例：顧客が 15 日遅延した商品配送について問い合わせた。エージェントは 9 つのツール呼び出しを実行した。注文を取得し、配送状況を確認し、顧客プロフィールを検索し、払戻ポリシーを 2 度確認し、チケットがないことを確認し、新しいチケットを開き、タイムラインを記録し、ポリシーを正確に読んだ。顧客の口座区分では遅延配送の補償対象外だったため、チケットを「解決済み」で閉じ、返信を送った。ところが 2 つの問題がある。キャリアの例外処理はまだ開いたままで、本来は「保留中」のはずだ。そして顧客は実際の問題への回答を得ていない。ツール呼び出しだけを見れば、9 つとも完璧に実行されている。データベースに書き込みがあったことも確認できる。だがデータベースの「最終状態」は違う結果を示す。

ThinkingBox は 507 の stateful ワークフローを 20 回ずつ実行した。結果は衝撃的だ。121,680 の試行のうち、79,853 が executable checks（実際の結果確認）で失敗した。うち 67.24% は clean に終了し、state-changing tool を呼び出し、最終ツールエラーもない。なのに executable checks で不正な field value（77.61%）、不意の副作用（43.30%）、欠落する必須効果（25.36%）が見つかった。AIの鬼的には、この「見かけと実態のギャップ」が重要だ。ツール呼び出しログを見て「うまくいった」と判断するのは、表面的な成功に騙されているということ。サイコロを 1 度振って「6 が出た」というのと「5 回振って毎回 6 が出た」というのは全く違う信頼度だ。中小企業では、エージェントの出力をそのまま信じてはいけない。特に金銭・顧客データ・契約周りのタスクでは、「ツールを呼んだ」だけでなく「データベースが目的の状態になった」まで確認する仕組みが必須だ。定期的な監査が、実装の信頼度を左右する。