ChatGPTはどのように次のTokenを選ぶのか?
ChatGPTはどのように次のTokenを選ぶのか? — Sampling・Temperature・Top-K・Top-Pを理解する 前回の記事では、LLMが文章を生成するとき、 Logits ↓ Softmax ↓ Tokenごとの確率 という流れで、次に来るTokenの確率を計算することを説明しました。 では、その確率を使って、実際にどのTokenを選ぶのでしょうか? 今回は、その方法について簡単に整理してみます。 Samplingとは? Samplingは、Tokenごとの確率をもとに、次のTokenを一つ選ぶ方法です。 例えば、 「今日は」 天気 50% 映...
出典: Zenn AI(配信元の紹介文より引用)
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →