LLMを使うツールを「テストできる」状態に保つ設計：検出はルール、説明はLLMに分ける

Terraform のコスト・セキュリティ問題を自動検査するツール iac-guard が、LLMを組み込みながら「テスト可能性」を保つ設計を公開した。これは一見矛盾している。LLMは毎回出力がブレるので、従来なら自動テストの敵だからだ。iac-guard の解答は、検出ロジックとLLMによる説明を徹底的に分離することだ。パイプラインを①ファイル読込 → ②ルールで問題検出（決定論的） → ③LLMで説明を修正・改善 → ④出力、と分割し、②までの時点でツールとして完結させている。つまり、LLMは「後付けの味付けレイヤー」に過ぎず、なくても動く仕様になっているということだ。

ここから見えるのは、「AI組み込み」の本当の困難さだ。多くの企業がLLMに全てを委ねたくなるが、実際には「確実にやれることはコード、LLMは人間向けの文言」という割り切りが不可欠ということだ。iac-guard は Analyzer というインターフェースを用意し、既定ではオフラインのMock を入れ、--llm フラグでAnthropicの本物に差し替える。テスト環境ではMockで決定論的な動きをするから、precision/recall の自動評価ができる。さらに重要なのが fail-soft 設計だ。APIキーが切れたり、レート制限に引っかかったり、タイムアウトしたりしても、ツール全体は落ちない。その代わりにLLMなしの既定説明を返す。だが「黙って縮退する」のではなく、失敗件数と最初のエラーを標準エラーに出す。握りつぶすと、問題に気づけなくなるからだ。

AIを組み込んだシステム・ツールを開発する中小企業にとって、この教訓は決定的だ。「AI万能」という期待は捨てて、ハイブリッド設計（AIとルール）を最初から組み込むこと。そして何より、LLM API の問題（キー切れ、タイムアウト、費用）が本番環境で起きることを想定し、その時も最小限は動くように設計すること。これが AI導入の現実的な成功条件だ。