VBAマネージャーのAIエージェント化、いろいろやって意味があるとわかってきた話

AIエージェント開発の舞台裏では、予想外の教訓が生まれることがある。VBAマネージャーをAIエージェント化する実験で、開発者は9月4日から9日の間に、Gemini の従量課金APIで2488回のテストを実行した。ところが、その膨大な実行の内、何も問題を見つけていない「合格」テストが1404回。発見に至った欠陥テストは230回だが、そのほとんどが同じ欠陥の撃ち直しだった。つまり、撃った弾の大半は無駄玉だったのだ。9月9日夜、Geminiの残高が尽きた。AIエージェント開発の費用は、「AIの賢さ」で決まるのではなく、「実行の往復数」で決まるという現実を、文字通り請求書で見た瞬間だ。

ここで浮かぶ逆説がある。機械が回っていれば進んでいるように見える。だが、回っているのは事実で、進んでいないのも事実だった。その後、開発者が打ったのは、AIを「撃つ前に、撃たない試験をする」という方針転換だ。まずPythonの機械単体で試験する。AIを呼ぶのは、直した所だけ、落ちた弾だけ。1万2000行を超えたコードを11本に分割し、使い捨てスクリプト251本を削除した。その結果、無駄な実行が劇的に減った。AIの効率性とは、モデルの性能ではなく「不要な呼び出しをどこまで減らせるか」で決まるということだ。

中小企業がAIをツール化するとき、同じ落とし穴がある。とにかく試してみる、全パターン試す、失敗までAIにやらせるという発想は、費用の浪費につながる。自分たちのシステムの論理を先に理解し、どの部分だけAIに判断させるか、という線引きが先だ。その線引きによって、実行回数が数十分の一に縮まる可能性がある。