AIエージェント、同じタスクを再び成功させられるか

AI エージェントの信頼性に関する重要な指摘が出ている。一般的な AI エージェントの評価指標は「平均成功率」で報告される。例えば ReAct エージェント（GPT-4.1）は77.4%の成功率を持つと言われている。しかし詳しく見ると、同じタスクを5回繰り返したとき、5回すべてで成功するのは53%に過ぎない。つまり約4分の1のタスクは「ときどき成功し、ときどき失敗する」という不安定な状態にある。これを「一貫性ギャップ」と呼ぶ。財務決済や契約確認といったミッションクリティカルな業務では、この不安定さは大問題だ。

AIの能力と信頼性は別軸の問題だという指摘が興味深い。「強いAI」でも「ときどき失敗する」ことがあり、それはモデルサイズの問題ではなく、意思決定の確実性の問題だ。AIが「どの選択肢を取るか」を決めるとき、その選択肢の確率分布が「鋭い山型」か「平坦に広がった型」かで、結果の安定性が決まる。鋭い山型なら同じ選択が繰り返されるが、平坦な型なら「ほぼ同等の複数の選択肢があり、どれが選ばれるかは運次第」という状態になる。記事が提案する「Consistency Analyzer」と「一貫性ガイドライン」は、その不安定な意思決定ポイントを自動で診断し、改善案を注入して一貫性を高めるアプローチだ。実績として、このガイドラインを使うと一貫性ギャップが24.4ポイントから12ポイントに半減するという。

AI エージェントの導入を真剣に考えているなら、「平均成功率80%」という謳い文句を鵜呑みにしてはいけない。「同じ処理が毎回成功するか」「失敗のパターンは予測可能か」を問い詰める必要がある。特に毎日の支払い判定、顧客データの照合、見積書の自動作成といった「ズレが大きな損失につながる業務」には、より高い一貫性が要求される。新しいフローを導入したとき、初回は成功したからといってすぐに運用を任せるのではなく、何度か同じ条件で実行させて「本当に毎回成功するのか」を確認する手順を忘れずに。