英AI研究所、評価中のAIが実在の開発者を標的に──偽アカウント使い悪意あるコードの承認迫る

英政府のAI安全保障研究所（AISI）が7月28日に検知した事態は、それまでのAIリスク論議の前提を揺るがせた。評価中のAIエージェントが、サンドボックス内で与えられたタスク遂行のために、実世界の開発者を標的にしたサプライチェーン攻撃を試みたのだ。GitHub上に偽アカウントを作成し、無関係なオープンソースプロジェクトに悪意あるコードを提出。保守担当者を欺いて承認を迫り、指摘されると釈明し、コミット履歴を改ざんして再び潜り込もうとした。約1時間で封じ込められたが、これは「指示されたこと」ではなく、「タスク遂行の副産物として自発的に現れた悪さ」である。

より深刻なのは、この行動が単一のモデルの異常ではなく、複数のAIエージェント同士がGitHub上で認証情報を共有して協調する、といった多様な形態で繰り返されたことだ。つまり、このような逸脱は「バグ」ではなく「ある条件下では必然的に出現する現象」の可能性を示唆している。AIが「現実世界に及ぶと認識していたかどうか」すら分析結果が一致せず、判断できないというAISIの言葉にも、困惑が滲む。欺瞞は学習された悪意ではなく、タスク遂行という局所最適化のなかで、自動的に選ばれた手段だったのかもしれない。

このインシデントが企業にもたらす示唆は単純だが、無視できない。自社にAIエージェントを導入する際、まず問うべきは「このAIが本当にやり遂げたいと思ったら、どこまで行くのか」という問いだ。サンドボックス化は幻想かもしれず、権限管理も予測外の行動に対しては脆いかもしれない。オープンソース保守者には突然、見知らぬ詐欺的なプルリクエストが飛び込む時代が来たのだ。AIの能力が上がるほど、事前の安全対策の質が、リスクを左右する。