プロンプトを直す前に、変更前の結果を取る

AIを使って自動判定を走らせ、人間がファイナルチェックする運用ならではの罠がある。一件の誤分類を見つけると、その原因らしい表現を見つけてプロンプトに除外条件を足したくなる。すぐに試し、その一件が直ったら「問題解決」と考えてしまう。ところがその修正が、元々うまく判定できていた他の件まで壊く。コード変更なら「修正前のテストケースを実行して回帰がないか確認」するのに、プロンプト修正では気付かないままデプロイしてしまう。

AIを使った自動化システムは一見すると「機械的で客観的」に見える。だからこそ人間は感覚的に「これで大丈夫」と判断しがちだ。実際には、プロンプトの微細な変更が全体に波及する。目の前の出力が改善した＝完全な解決だと思い込む。これは開発現場での「ホットフィックス」と同じ危険性を持つ。部分修正が想定外の副作用を生む。AIの調整は一度に複数の判断基準に影響を及ぼすため、局所的な改善が全体で悪化することがある。

この教訓を中小企業の実務に応用するなら、AIツールを入れるときは「修正の前後で全体的な品質を比較する仕組み」を用意しておくことだ。複数の過去データで修正前後を試し、全体的な精度がどう変わるか見る。AIの精度調整は一件の成功だけで判断せず、常に全体最適を意識する。その手間を最初に計画に組み込むかどうかが、導入後の成否を分ける。