ChatGPTはどのように次のTokenを選ぶのか？

前回の記事で説明した、Logitsからsoftmaxを経て得られるTokenごとの確率を使い、実際にどのTokenを選ぶかを整理した記事だ。Samplingは確率に従って一つ選ぶ方法で、「天気」50%のように最有力が選ばれやすいが、必ず選ばれるわけではない。Temperatureは確率の偏りを調整するつまみで、低ければ安定し、高ければ他の候補も選ばれやすくなる。Top-Kは上位K個だけを候補に残し、Top-Pは上位から累積確率がPに達するまでを候補にする。 業界の本音を言えば、ChatGPTが考えて答えているというより、確率のくじ引きを何度も引いていると理解した方が付き合い方は楽になる。同じ質問で答えが毎回違うのは欠陥ではなく仕様であり、そのばらつきを意図的に調整するのがTemperatureだ。面白いのは、記事自身が書いているようにTop-KとTop-Pは必ずしも両方使うわけではなく、設定次第で挙動が変わる点だ。つまり「なぜ違う答えが出たのか」は、モデルの賢さではなく設定の問題であることも多い。ただし、ばらつきを抑えれば正しくなるとは限らない。ここを取り違えると、安定しているのに間違った答えを信じる事故が起きる。 中小企業の実務では、同じ依頼でも答えは揺れる前提で運用するのが現実的だ。議事録の要約や見積書の下書きのように毎回同じ体裁が欲しい業務では、利用するツールに温度などの設定があるかを確認する。設定できない場合は、出力を人が必ず確認する手順を業務フローに組み込んでおくことだ。