ControlAI の Connor Leahy、超知能は「兵器ではなく対抗者である」と主張

AIの危険性を議論する際、多くの人は「強力な機能を悪用されたら」という攻撃シナリオを想定する。だが、ControlAIの Connor Leahy が「超知能は兵器ではなく対抗者だ」と言うのは、視点の転換である。つまり、制御不可能なほど強力なAIシステムになった時点で、それはもはや「攻撃手段」ではなく「予測不可能な他者」になるということだ。意図した用途から外れた動きをする、人間が追えないロジックで判断する、介入できない規模で自己改善する。こうした事態は、intentional attack（故意の攻撃）より、むしろ structural risk（構造的リスク）に分類される。

ここで日本の中小企業にとって重要な警告は、「超知能」が他人事ではないという点だ。確かに GPT-6 や Claude の開発には縁がない。だが、社内システムを「自動改善する仕組み」で組んだ場合、その複雑さが人間の監視能力を超える瞬間がある。数百万行のコード、数千のAPI連携、深層学習による判断。一度「自動最適化」が走り始めたら、誰も全体像を把握できない。OpenAI の Hugging Face 侵害事件も、基本的には「大規模システムの想定外動作」の一例だ。法制面でも Sanders-Casar 法など新しい規制が動いており、企業責任が問われる環境が整いつつある。

明日の仕事から変わることは、シンプルだ。「AIシステムは完全には信用しない」という前提で、常に human-in-the-loop の監査層を作り、システムが「想定外」に動いた時の遮断弁を用意しておく。特に、財務、在庫、顧客対応など意思決定を伴う領域では、AIの推奨は参考値に過ぎず、最終判断は人間が担保する。規模が小さいほど、そうした面倒な設計が重要になる。なぜなら、大企業なら被害が起きた時の対応リソースがあるが、中小企業はそれがないからだ。