AIの鬼
#研究動向 MIT Technology Review

大規模言語モデル、根本的欠陥で攻撃に極度に脆弱――研究者が指摘

大規模言語モデル、根本的欠陥で攻撃に極度に脆弱――研究者が指摘(内容を表す図ではないイメージ画像)
イメージ

国際機械学習会議で発表された論文が指摘しているのは、LLMの構造そのものに根本的な欠陥があり、完全なセキュリティは原理的に不可能だということです。具体的には、LLMはテキストの「次の1語を予測する」という機構で動いており、この仕組みそのものが、外部からの悪意ある入力に対して本質的に脆弱だということですね。AIの鬼としては、これを聞いて思うのは「困ったな」という正直な感情です。つまり、LLMは今後も企業や社会のあらゆる場面で使われ続けるが、同時に「完全には信頼できない」という不快な現実を受け入れざるを得ないということです。これはちょうど、クルマが完全には安全ではないけど、社会はクルマに依存しているのと同じ。クルマの場合、エアバッグ、ABS、安全ドライブ教育といった「多層的な安全対策」で対応しました。LLMの場合も同じ発想が必要になるということを、この研究結果は教えてくれています。製造業や運用現場がAIツールを導入する際に、いまは「このAIツールは正確ですか」という質問が主流です。だが、この研究から導き出されるべき実務的な答えは「正確さを100%保証するのは不可能だから、どの判断ステップで人間が確認するのか、誤った出力が出た場合にどう検知するのか」という設計に頭を使うべきということです。つまり、AIの信頼度を測るのではなく、AIとの付き合い方のルールを先に決めるということですね。

※ 上記は配信元記事をもとにAIの鬼編集部が要約・再構成したものです。正確な内容は出典元をご確認ください。

御社でもAIを使ってみませんか
まずはここから 御社でもAIを使ってみませんか? 御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。 「ChatGPTの使い方」を教えるだけの研修ではありません。 AI研修・AI活用相談 →