[AI] 何をQAするのか

AI搭載システムの品質保証は従来のテストとは異なる。同じ入力でも毎回出力が変わり、その理由も外部からは見えにくい。だから「1回実行して正しかったから合格」ではなく、複数回実行で期待値の達成率を事前に決めておく必要があり、これが従来のテスト手法との大きな違いだ。書籍では、社内向けヘルプデスクAIを例に、QAで見るべき6つの観点を整理している。

AIの鬼の視点は、この6つが「都合よくどれか1つ」ではなく、**同時に全部見なければならない**という厳しさだ。公平性なら、性別や雇用形態で回答が変わらないかを固定質問で検証する。説明可能性なら、根拠となった社内規程を実名で引用できているか、バージョンやログが残っているかを確かめる。安全性は「要求されても拒否」だが、検索段階で権限制御ができていなければ、聞き方を変えられたときに漏れる。誤情報は古いドキュメント参照とハルシネーション両方を見る。意図しない操作は、削除前にユーザー確認が入っているか。応答不能は無限ループではなく「分かりません」と言えているか。これら全部を一度に見るのは労力が大きいが、どれか1つ落とすと、デジタルな社内規程ほど「1件の不備が全員に波及する」リスクが高まる。

実務的には、起きたときの被害が大きい「安全性」と「意図しない操作」から着手するのが現実的だ。最初から6つ全部を最高レベルで実装するのは無理でも、情報漏洩や誤った申請処理だけは止めるフェーズと、その後で公平性や説明責任を強化するフェーズに分ける。QAのチェックリストをチーム内で言語化し、毎回同じ観点で見ることが、長期的には品質の地力になる。