6大AIの掲載状況を「AIに頼らず」判定する理由：Zonostickにおける決定論的アプローチと文字列照合のリアル

AI 検索（生成 AI が検索結果を要約して返すサービス）が広がる中、自社ブランドがそのサービスに掲載されているかを自動追跡するツール Zonostick を開発した際、直面した判定問題がある。「AI の回答に自社ブランド名が含まれているか」をどう判定するか。直感的には「その回答文を別の高性能 LLM に判定させればいい」と思う。だが私たちはそうしなかった。なぜなら、LLM 経由では判定が毎回変わり、SaaS の定点観測ツールとして致命的だから。さらに API コストが爆発し、デバッグが不可能になる。つまり「AI 時代だからこそ、AI に判定を委ねない」という逆説的な選択をした。代わりに決定論的な文字列照合を採用し、ブラックボックスを排除した。ただし現実のデータは複雑だ。単純な includes() では通らず、日本語単語境界の問題に遭遇した。JavaScript の正規表現は ASCII 文字の境界にしか効かず、日本語ブランド名は永久にマッチしない。「ELFBAR」が「Elf Bar」と表記されたり、全角で返ってくる揺らぎもある。これらに対応するには、文字種の判定を自前で実装し、正規化フィルタを多段に通す地道な作業が要る。業界には「LLM = 万能な判定器」という誤解が蔓延している。だが判定・監視・定量化が必要な業務こそ、AI を検証レイヤーに抑えるべき。原因特定とログ追跡の可能性が失われると、事業としての信頼性が崩れる。