AIエージェントに外部ツールをつなぐと、つないだ先のツールが更新されただけで成功率が13〜14%落ちるという測定結果が出ました。2026年7月16日に公開された研究で、GPT-5.4 が13.7%、Claude-Sonnet-4-6 が14.4%の性能低下を示しています。AI導入の検討では「どれだけできるか」ばかりが話題になりますが、実際に効いてくるのは作ったあとに、つないだ先が勝手に変わるというリスクです。
何が測られたのか
「MCPEvol-Bench」という評価基準を提案した論文です（出典：arXiv:2607.14642、2026年7月16日、https://arxiv.org/abs/2607.14642v1）。
MCP（Model Context Protocol）は、AIに外部のツールやデータをつなぐための共通規格です。AIエージェントが社内システムやSaaSを操作するとき、この規格を介してつながることが増えています。
これまでの評価は「今あるツールをAIがうまく使えるか」を測っていました。この研究が問題にしたのは、そこが止まっている前提になっていることです。実際のツールは更新されます。項目名が変わる、引数が増える、機能が統合される。研究チームは実在する 123個のMCPサーバー を対象に、現実に起きる変化を 11種類の変更パターン として整理し、変更前と変更後で 12種類のLLM の成績を比較しました。
結果は以下のとおりです。
| 測定対象 | 内容 |
|---|---|
| 対象サーバー | 123個（実在するMCPサーバー） |
| 変更パターン | 11種類 |
| 評価したLLM | 12種類 |
| GPT-5.4 の性能低下 | 13.7% |
| Claude-Sonnet-4-6 の性能低下 | 14.4% |
壊れ方 — 失敗が増えるのではなく、考え違いが増える
この研究でいちばん重要なのは、低下の中身です。本文には、初期段階と後期段階を比べた誤りの内訳が出ています。
| 誤りの種類 | 増加率 |
|---|---|
| 推論の誤り | +34.1% |
| 計画の誤り | +35.6% |
タスク達成率が13〜14%落ちているのに対し、誤りのほうは34〜36%増えています。これは「たまに失敗する」のではなく、手順の組み立て方そのものが崩れていることを意味します。
変更の種類によって影響が違う点も測定されています。ツールが増えたときの影響度が −0.96 ともっとも大きく、ツールが置き換わったときは +0.10 と、むしろわずかに改善しています。
直感に反するかもしれませんが、理屈は通っています。置き換えは「今までの道具が別の道具になった」だけなので、AIは新しい説明を読めば対応できます。一方、道具が増えると選択肢が増え、どれを使うべきかの判断を誤ります。機能追加という一見前向きな更新のほうが、危険だということです。
さらに、実在するMCPサーバーの過去のバージョンで試したところ、GPT-5.4 は現行版に比べて 12.3% 成績が落ちました。人工的に作った変更だけでなく、実際に起きた更新でも同じ現象が確認されているということです。
なお、この評価はAIが採点していますが、人間の専門家との一致度は 0.79〜0.85 と報告されています。採点そのものの信頼性も、いちおう検証されています。
なぜ中小企業に関係あるのか
「うちは最先端のAIエージェントなんて使っていない」と思われるかもしれません。しかし話は同じです。
- 会計ソフトや勤怠システムのAPIが更新される — 提供元の都合で、こちらの予定とは無関係に起きます
- SaaSの画面や項目名が変わる — 自動化ツールが画面を操作している場合、これだけで止まります
- AIが「動かない」ではなく「間違ったまま動く」 — エラーで止まってくれれば気づけますが、推論エラーが増えるということは、それらしい結果を出し続ける可能性があるということです
3つ目がいちばん厄介です。止まる故障は誰かが気づきます。気づかれない故障が、いちばん高くつきます。
契約前に決めておくこと
外部の会社にAI自動化を依頼する場合、見積書には「作る」ことしか書かれていないことがあります。以下は発注前に確認しておく価値があります。
- 連携先が変わったときの改修は、誰が費用を持つのか
- 壊れたことに、どうやって気づく設計になっているか（結果が0件だった、処理時間が急に変わった、といった異常を検知する仕組みがあるか）
- 連携先をいくつつないでいるか — つなぐ先が増えるほど、壊れる確率は足し算で増えます
- 月次の動作確認は運用に含まれるか
「AIが賢くなれば解決する」という話ではない点が重要です。この研究で低下したのは、いずれも最前線のモデルです。モデルの賢さでは吸収しきれない種類の問題だということが、この論文の主張です。
TOEではどうか
この研究と同じ測定は、TOEでは実施していません。推測で埋めずに書いておきます。
ただし関連する経験はあります。TOEでは社内の定型業務を26本のcronジョブで自動化しており、その運用のなかで「作った時は動いていたものが、あとから静かに止まる」という事象を実際に経験しています。原因は連携先の変更ではなくこちら側の設定漏れでしたが、失敗しても誰も気づかないという構造は同じでした。その顛末はAI処理414件を失敗させた話に書いています。
この経験から言えるのは、自動化を入れるときに本当に必要なのは、賢いAIよりも壊れたことが分かる仕組みだということです。件数が急に減っていないか、実行ログが残っているか、失敗が黙って握りつぶされていないか。地味ですが、ここを省くと自動化は資産ではなく負債になります。
なお、AIエージェントそのものの仕組みについてはAIエージェントとは何かを、導入するツールの選び方についてはAIツールの選び方を参照してください。
まとめ
- 実在する123個のMCPサーバーを対象にした研究で、ツール側が更新されると GPT-5.4 で13.7%、Claude-Sonnet-4-6 で14.4% の性能低下が測定された（arXiv:2607.14642、2026年7月16日）
- 達成率の低下より、誤りの増え方のほうが大きい（推論の誤り +34.1%、計画の誤り +35.6%）。止まるのではなく、間違ったまま動く
- ツールが増えたときの悪影響（−0.96）が、置き換わったとき（+0.10）より大きい。機能追加のほうが危ない
- 実際の過去バージョンでも GPT-5.4 が 12.3% 低下しており、人工的な変更だけの話ではない
- 中小企業でも、会計ソフトや勤怠システムのAPI更新で同じことが起きる
- 発注時には「連携先が変わったときの改修費用の負担」と「壊れたと気づける仕組み」を確認しておく
- TOEではこの研究と同じ測定は未実施。ただし自動化が静かに止まる事象は実際に経験している
AI導入で問われるのは、導入時点の性能だけではありません。1年後も同じ結果を出し続けられるかが、実際のコストを決めます。