Cloudflare AI Gateway の Custom Providers (Beta) のルーティングの謎な挙動の解説とその対処法

Cloudflareが提供するAI Gatewayは、複数のAI APIへのリクエストを一元管理できるサービスだ。OpenAI、Anthropic、その他のプロバイダーのAPIリクエストを、ベースURLを変更するだけでCloudflareの門を通す仕組みになっている。ロギングやキャッシング、レート制限、認証情報の集約といった機能が無料で使える。これまでなら、複数のAPIキーを管理したり、ログを各サービスから引っ張ってくる手間がかかっていた。それがCloudflareのダッシュボード一つで可視化されるようになったわけだ。

ここで引っかかるのが、新機能のCustom Providers (Beta)のルーティング挙動である。複数のプロバイダーに同じリクエストを流したり、フォールバック設定したりするときに、思った通りにリクエストが転送されないケースが報告されている。ドキュメントと実動作がズレていたり、設定の組み合わせによって予期しない挙動をしたりする。APIの使い手としては、ログに出ているリクエストと実際のプロバイダーへの転送先が一致してない状況は不安だ。このあたりはBetaだから許容範囲だが、本番運用に乗せるなら十分に検証が必要な段階である。

中小企業がAIを複数のサービスから使う時代になった今、このような統合ゲートウェイの存在は大きい。複数APIの管理コストが下がれば、その分を実装に回せる。ただし、新しい機能ほど細かい罠がある。本記事の対処法を参考にしながら、段階的に導入を進めるのが賢明だろう。