AIに業務システムを書かせるとき、品質をどう担保したか

AI が書いたコードは見た目だけはプロだ。命名も構造も整っている。だから読んで不具合を見つけるのは、ほぼ無理である。危険なのはそこではなく、構造は正しいのに計算が間違っているケースだ。業務システムの場合、それは直接カネに効く。動物病院の電子カルテ開発で実装者が実際に見つけた 2 件の不具合は、コードレビューでは落ちない類のものだった。1 つは全患者のカルテに同じ体温が印字されていた例。体裁は完璧だが中身が違う。もう 1 つは単価未設定の行を 0 円として合計に入れる例。エラーも出ない、ただ金額が実際より小さい。

キーは「実装の事後ではなく、事前に正しさの条件を決める」ことだ。AI に「テストも書いて」と頼むと、AI は自分が書いた実装に合わせてテストを書く。実装が間違っていれば、テストも間違う。通って当然のテストが増えるだけで、何も検証していない。だから同じ数字を違う経路で複数回出して突き合わせる方法が有効だった。売上なら、分類別・担当者別・日別の 3 つが一致することを採用条件にする。どれか 1 つだけを検算しても、その 1 つの計算が正しいことしか分からない。全患者ぶんのデータを集めて、同じ値ばかりになっていないかを機械的に見ることで、初めて「固定値が漏れている」と検知できた。暗黙の前提は AI に伝わらない。だから「患者ごとに違うはず」のような常識こそ、明示的に検査する必要がある。中小企業が AI にシステムを書かせるなら、金額計算に限っては「これで正しいことの証拠は何か」を先に決めておくべきだ。動かしてから「また作り直して」では遅い。