AIのテスト観点を「決定論的」にする - テスト観点カタログを作った

Aldagram の QA エージェント「qa-orchestrator」は当初、仕様書やコード、デザインファイルから自動でテスト観点を抽出していた。だが運用してみると、抜ける観点に傾向があった。データ削除や権限制御など「リスク高い」部分は仕様書に明記してあるから抜けない。抜けるのは、一覧の追加読み込み可否、一括選択時に追加読み込み先の項目も選ばれるか、削除したデータが別画面からも消えるか、といった「わざわざ書かないけど重要な振る舞い」だ。そこで作ったのが「テスト観点カタログ」である。UI要素の種別と役割（使われている文脈）を組み合わせて、確定的な観点をあらかじめ定義しておく仕組みで、機械的に正しい観点を生成できる。

「決定論的」とは、AI が「その日の匙加減」で観点の粒度や網羅性を変えるのを止めるということだ。これは QA の問題ではなく、AI エージェント運用の本質的な課題だ。エージェントは「何でも手伝える」ように見えるが、複雑な判断を要する部分に投げると、統一性が失われたり、漏れが発生したりする。Aldagram が気づいたのは、「仕様書に書かれない観点」ならば、人が判断する前に、機械的に確定できるということだ。具体的には、UI 要素の種別と役割が決まれば、その要素に対する観点も決まる。チェックボックスがフィルタなら確認すべき項目は決まり、削除ボタンなら確認ダイアログと関連一覧への反映を見るはずだ。この「観点の確定」をカタログ化して、AI が裁量で抜くのを構造的に防いだわけである。

カタログは単なるリストではなく、UI要素×役割を分類軸に、各エントリに確定観点、trigger、適用条件、リスク初期値を持たせる設計になっている。Trigger には「配置場所」「チェック時の挙動」「ラベル文言」といった「この役割だと判定するための手がかり」を書き、観点のテンプレートに埋まらないプレースホルダは「※要確認」を付けて推測を許さない。実装を見る限り、約3割の計画段階で既に観点の半数がカタログ由来になり、レビューで1件も削られていないという。

実務含意：自社でエージェントを使い始めたら、単発の指示では不十分だ。反復業務や定型業務は「カタログ」「ルール」「基準」という形で、エージェントの恣意性を最小化する設計に投資しないと、QA でも企画でも、AI 出力の「ばらつき」に悩むことになる。