なぜ答えが揺れ、堂々と間違えるのか ―― 確率で動く生成AIの正体

「同じ質問をすると毎回答えが違う。しかもそれを堂々と言う」。生成AIのこの振る舞いは不具合ではなく、仕組みそのものから来ている。生成AIは、与えられた文脈から「次に続きそうな言葉」を確率で選んで文章を組み立てる。たとえば「青い空、白い」と続けば「雲」になる確率が非常に高い。文章の中身を理解して判断しているというより、もっともらしさを積み上げている。その仕組みを大規模に支えたのが、2017年にGoogleの研究者らが発表したTransformerという構造と、桁違いの学習量だ。学習量を公開しているモデルの一つは、約33兆tokenのデータで事前学習されたと技術報告に記されている。

ここが面白い。記事の言葉を借りれば、生成AIは「正解を計算するシステム」ではなく「確率的に答えを生成するシステム」だ。同じ入力に同じ結果を返すことを価値としてきた業務システムの感覚からすると、これは正反対の性格である。ハルシネーションは、この仕組みに事実かどうかを確かめる機構が本来備わっていないから起きる。人間なら覚えていないことを聞かれると「規定のどこかにあったと思う」と言葉を濁すが、生成AIは解像度の高い作り話を流ちょうに出してしまう。堂々と間違えるのは能力が低いからではなく、もっともらしく見えることが優先される設計だからだ。業界的な本音を言えば、モデルが賢くなっても、この「もっともらしさの機械」という骨格は変わらない。だからこそ、精度の議論と同じくらい、出力を誰がどう確かめるかの議論が必要になる。

中小企業の実務では、「AIが書いた内容は下書きであり、提出した人間が責任を持つ」を社内ルールの第一行に置くとよい。金額や在庫数のような一意の値は、AIに決めさせず、基幹の記録を正とする。その二つを分けるだけで、AIの誤りが業務の判断に入り込む経路の多くは塞がる。