検出ツールの良し悪しを precision / recall で測る：わざと紛らわしいケースを混ぜる

検出ツールの品質を、precision（適合率）とrecall（再現率）という二つの数字で測る方法を、IaC（コードで書くインフラ設定）を検査するツールの事例で解説した記事である。見逃しを減らすrecallは多くの人が意識するが、この記事は誤検知を減らすprecisionこそ運用の成否を分けると説く。安全な設定を危険だと指摘するツールは、すぐ信用されなくなって使われなくなるからだ。ラベル付きの正解データを用意し、検出結果と突き合わせて数え、しきい値を下回ったらテストを失敗させる仕組みが示されている。

AIの鬼の視点で面白いのは、正解データに「一見あやしいけど正常」なケースをわざと仕込むという発想だ。何でも危険と言うツールも、何でもシロと言うツールも、普通のテストでは同じように満点に見えてしまう。紛らわしい正常例を置いて初めて、precisionが意味を持つという指摘は、検査そのものの設計思想として膝を打つところがある。もう一つ、テストが落ちたときにどのリソースのどのルールがずれたかをキー単位で出力するという工夫も、現場で原因を探す時間を減らす実利的な配慮だ。AIを開発に組み込んだあと、その品質をどう担保するかという連載全体のテーマにも一本で繋がっている。

中小企業の実務で言えば、業務で使う自動チェックや判定の仕組みを導入するとき、「ちゃんと見つけるか」だけでなく「余計な警告を出さないか」も必ず試すことだ。誤報が続けば、現場の人はそのチェックを無視し始める。正常な事例を一つ混ぜたテストを用意しておくだけで、その信頼の崩れを事前に防げる。