Amazon Managed GrafanaとCloudWatchで作る、AIエージェントのオブザーバビリティ（Evals設計）

AIエージェントを本番環境に置くと、必ず直面する地獄がある。「AIが期待通り答えてくれない」「APIコストが青天井に跳ね上がった」という状況が起きたとき、従来のWebシステム向けの監視（CPU負荷、HTTPエラーレート）では何も分からない。ブラックボックスから出てきた結果だけを見て、何が内部で起きたのか推測することになる。これは実務的な悪夢だ。

AIエージェントのオブザーバビリティには三つの柱が必要だ。まずは「インフラストラクチャ」——従来のAPMで十分だ。次が「LLMOps」——プロンプトサイズ（トークン数）、APIレイテンシ、エラーレート、推論コストといったLLM固有の指標。そして最後が「ビジネスロジック」——AIの回答内容がユーザーにとって有益だったか、社内規程に沿っているか、という品質指標。CloudWatch Logsに構造化ログを出力し、Embedded Metric Format（EMF）でメトリクスを抽出。X-Rayで複数ステップの分散トレーシングを可能にする。これらを組み合わせれば、「どのステップが遅かったのか」「どのプロンプトが失敗しやすいのか」が見える化される。

AIの鬼が強調したいのは、本番運用でAIの「品質」を測り続けることの難しさだ。単なるメトリクス監視では足りない。オフラインの評価パイプライン（Evals）を構築し、蓄積された本番ログを評価専用の強力なLLMに掛けて1～5点で採点させ、スコア低下時に即座にアラートを飛ばす。これがフィードバックループとなり、エンジニアが迅速に対応できるようにする。Grafanaの「グラフをクリックしてログへジャンプする」というドリルダウン機能も欠かせない。異常値を見つけたら、その時間帯の詳細なトレースへ一瞬で移動でき、原因究明が格段に速くなる。

中小企業がAIを本番導入するときの鉄則は「最初からオブザーバビリティを組み込む」だ。動いてから困るより、最初から見える化を仕込む方が、長期的には圧倒的に安い。