VBAマネージャーをAIエージェントにしようと思ったら、結構大変なことがわかった話

自作のExcelマクロ管理ツール「VBAマネージャー」をAIエージェント化する実験が行われた。最初は汚れたデータの修正を頼んでも、AIは迷い続けて動かなかった。原因は、道具側が曖昧さを持ちすぎていたこと。ループや判断をAI側に委ねず、道具側に固めてしまえば、一晩で動くようになった。ところが、その後の継続的なテストで55件もの欠陥が自動検出された。中でも致命的だったのは「元に戻す機能」そのものが数式を壊していたという矛盾である。

ここに、AI導入の罠が凝縮されている。「できました」と報告が来て、最初は本当に動く。だが、一日使い続けると欠陥の雨あられ。怖いのは、AIが自分で問題を見つけて自分で直す、という無限ループに入ることだ。人からの指摘ゼロで55件の欠陥を修正した、という話は聞こえは良いが、実は「自動化の落とし穴に自動で嵌っている」状態かもしれない。自分で作った問題を自分の道具で解いて自分で採点する仕組みは、品質管理としては最も危険な形である。

AI導入後、最初の数週間は綿密な監視が必須だ。「戻せます」と謳った機能ほど疑うべき。自動化システムは、本来ならば人が気づくはずの矛盾を、その機能の中に隠してしまうリスクがある。中小企業が業務システムにAIを組み込む場合、「動いてる風に見える」状態こそが最も危険な信号と考えるべき。