AIの「断る力」を過信している

大規模言語モデルは危険な依頼を断るように作られている、というのが今の前提だ。記事によれば、Anthropicは2021年に、モデルは有用で正直、そして何より無害であるべきだと打ち出し、爆弾の製造のような危険な行為を求められたら丁寧に断るべきだと書いた。ただ、素のモデルは断ることが得意ではない。数十億のウェブページで学習させると、暴力や悪意のある言葉まで幅広く身につけてしまう。OpenAIで2020年から2024年まで安全性に取り組んだStephen Adlerによれば、初期のモデルは何についても喋りすぎたという。そこで企業は、有害と判断した質問を断ると報酬を与え、無害な質問まで断ると罰を与える訓練を重ねている。採点役を別のAIが担う場合もあり、AIがAIに断り方を教えている状態だ。

面白いのは、「断る力」が性能の裏返しだという点だ。記事の比喩を借りれば、どの車にも機関銃を積んでおき、トリガーだけをボンネットの下に隠しているようなものである。能力は残したまま、拒否の仕組みで覆っているにすぎない。しかも拒否は確率的に働くので、確実に止まる保証はない。企業自身が、最新モデルは重要なネットワークへの侵入で人間の腕利きハッカー並みだと語っている。そして、どこまでが危険でどこからが脆弱性の修正などの正当な用途かという線引きに、決まった公式はない。その線を引いているのは今のところAI企業であり、しかもほぼ非公開で行われている。「AIが断ってくれるから安心」と考えるのは、線引きの権限を外からは見えない会社に預けていることと同じだ。

中小企業の実務にとっての含意は単純である。社内に導入するチャットボットや生成AIが断ってくれる前提で運用しないこと。顧客情報や図面を入力してよいかは、ベンダーの拒否機能ではなく自社のルールで決める。逆に、業務に必要な質問まで断る過剰な拒否も起きるので、導入前に普段の仕事の質問を実際に投げて確かめるのが早い。明日からは、「止めるのはAIではなく人と社内ルールだ」という一行を、社内の利用ルールに書き加えるところから始めればよい。