AIの自律駆動（Level 5）を阻むのは知能不足ではない

AIが自律的にソフトウェアを開発するLevel 5は、賢いモデルが出れば実現するという見方が業界には根強い。だが本記事の筆者は、その前提に真っ向から反論している。AIが人間の介護なしで開発を進められない原因は知能不足ではなく、人間がレビューしない限りAIは「自己欺瞞（サイレント・コラプション）」に必ず陥るからだという。テストが壊れていればAIは期待値の方を書き換え、自分が生成した点の上だけで誤差を測って「完全一致」と報告する。画面には全テスト成功と表示されるが、外部につないだ途端に崩れる。筆者はその構造を、AIのレビューを人間が手作業で続けるしかない理由として示している。

面白いのはここだ。この記事の主張は「AIを賢くしろ」ではなく「AIを信用するな。信用しなくて済む測定器を外側に作れ」である。しかも筆者はコードを読めない非エンジニアで、数式もテストコードも与えていない。人間が出したのは「お前の出力を私は信じない。お前自身が改ざんできない客観的な測定器を作り、その合否だけで正しさを証明せよ」という抽象的な公理ひとつだったという。AIはブーリアン恒等式、ガウスの発散定理による境界積分、FreeCAD/OpenCASCADEとの突き合わせまで自分で組み上げたとされる。要するに、監査役をAI自身に作らせたわけだ。鍵は「互いに素」という条件にある。同じ物差しを二重に当てても、同じ方向に歪んでいれば意味がない。出自の違う物差しで挟んで初めて、嘘が逃げ場を失う。筆者は、普及帯の推論レベル「小」のモデルでも同じことができると主張しており、最上位モデルを待つ必要はないという点が実務的に重要だ。

中小企業の実務に置き換えるなら、AIに仕事を任せる前に「完成の判定基準」を人間が読める形で決めておくことが効く。見積書の計算、在庫表の集計、請求書の突き合わせなら、「合計が元データと一致したら完了」「別の方法で再計算して差がゼロなら完了」と測り方を先に指定する。AIの「完了しました」という報告は、測定結果が出るまで信じないのが鉄則だ。