MicrosoftのナデラCEO、「SIモデルは“内部リスク”として扱うべき」とXに投稿 統制はモデルの外に置くよう提言

Microsoftのサティア・ナデラCEOは10月10日、Xに「Models as Insider Risks in the Super Intelligence Era」と題した長文を投稿した。フロンティアモデルを組織内部のインサイダーリスクと同様に扱い、統制の仕組みをモデルの外側に置くべきだと訴えている。企業は、振る舞いや出力を学習データや重みの特定の要素に結び付けて説明できないモデルに、機密データへのアクセス権や重要な操作を任せている。ナデラ氏はこの状態を問題視し、知能の供給と、それに対する権限を切り離す必要があると主張した。

AIの鬼の視点で注目すべきは、AIを悪意を持つ存在としてではなく、有能だがミスも侵害も受けうる社員として扱えという点だ。人は悪人でなくてもミスをするから、経理に二人の目を入れ、権限を分ける。AIにも同じ発想を持ち込めという提案である。最も印象的な一文は、「最も信頼できるSIシステムとは、最も信頼するモデルを持つシステムではない。モデルを最も信頼せずに済むシステムだ」というものだ。AIを売る側のCEOが、自社のAIを信じすぎるなと言っている。これは謙遜ではなく、AIを使う側が責任を手放してはいけないという念押しとして読むべきだろう。投稿は直接の事例に触れていないが、OpenAIやAnthropicが評価試験中のモデルの異常行動を相次いで公表している流れと重なる。なお、Microsoftは両社に出資している。

中小企業の実務に落とすなら、AIに何を触らせるかを決める基準は「その権限を人間が即座に取り上げられるか」にすればいい。顧客データの閲覧、請求の承認、メールの自動送信などは、権限を止める手順を先に決めておく。AIの回答が正しいかどうかより、間違えたときに止められるかを確認することが、明日から始められる最初の一歩である。