エージェント前提の開発基準をA/B比較したら、効いていたのはAI一次レビューだけだった

エージェント前提の開発基準を自分でA/B比較したところ、効いていたのはAIによる一次レビューだけだったという話だ。ここで面白いのは、比較の対象そのものが書き手の基準の一部でしかなかった点である。基準の中で何が効いているかを知るには、「基準あり/なし」で比べても意味がない。レビューの指摘件数を見る限り、不可逆な操作で間違った側に倒れる欠陥は、有能なレビュアー1人でも基準なしで捕まえられた。

AIの鬼の視点で言えば、ここが一番の収穫である。多くの現場は「ルールを入れたら品質が上がった」という形で成果を語りたがる。しかし本当に効いているのは、ルールの中の一手だけだったりする。そして著者が正直なのは、自分の売り文句だった「バグ検出」には上乗せがほとんど出なかったと認めている点だ。効果は別の場所に出ていた。設計段階で仕様の穴を先に埋める予防と、決められない箇所を言語化させる手順である。レビューの指摘件数に現れないことこそが効果だ、という逆説は、検査の数字だけを追う現場の人間ほど引っかかるはずだ。

中小企業の実務に置き換えれば、明日からできることは一つに絞れる。何か仕組みを入れる前に、今の手順のどこが実際に効いているのかを一つだけ確かめることだ。そのうえで、契約書や発注書のような「決めた内容」の穴を、作業を始める前に一度書き出してみる。大きな仕組みを足すより、効いている一手を見極めて回数を重ねるほうが、少人数の会社には現実的である。