Edit の成功率は 99.0% だった。そのうち半分は、自分がさっき書いた文字列を書き直していた

Edit ツールの置換操作は 99% の成功率で通っている。だが成功した編集のうち半分は、エージェント自身が書いた文字列を書き直したものだった。修正まで中央値 16 手。直後の修正は 3.4% に過ぎず、その間に実行して初めて情報が来る。つまりやり直しは無駄ではなく、書く前には得られなかった学習の結果だ。

ここで AIの鬼が注目するのは、成功率という指標と実務の関係だ。置換操作として 99% 通ることと、その編集が最終的な目標に到達したことは別問題。さらに興味深いのは、ファイルの種類による差。コードは実行すれば合否が返るが、文書は返らない。見積書や README は最大 122 回編集されるのに対し、テストが通るコードは数回で終わる。判定してくれるものがないファイルほど編集が確定しない。つまり自動化の「成功」は、ツールの仕事ぶりではなく、そのツールが何に対して検証可能かで決まる。

中小企業が開発ツールを選ぶときは、導入後に「成功率」の数字を見たら、次に確認すべきはその操作の後に何が起きるかだ。置換が通る率ではなく、その後の試行が試行として記録されるか、失敗が失敗として可視化されるか。ツールが数字を高く見せるのは容易だが、その数字が本当の問題解決に結びつく設計になっているかを見る癖をつけると、道具の本当の価値が分かる。