ChatGPTは文字を読んでいない？TokenとEmbeddingの仕組みを整理してみた

ChatGPTを使っていると、確かに「こいつ、文章を理解してるんじゃないか」と思える瞬間がある。会話が続き、文脈を掴み、質問の真意を読む。だが内部では全く違う処理が走っている。LLMは人間が見ている「文字」ではなく、その文字を数値に変換した「トークン」を処理しているのだ。文章はまずトークンに切られ、それがトークンIDという数字に変わり、さらにそれが多次元空間上の座標であるEmbeddingに変換される。その後、Transformerと呼ばれる数学的な変換機が、膨大な計算を通じて次のトークンを確率で予測する。一見、意味を理解して文を紡いでいるように見えるが、実は「この座標の次に来そうな座標」を統計的に当てているだけなのである。

この仕組みを知ることは、AIの得手不得手を判断する上で決定的に重要だ。AIが「理解している」と思う経営者や現場職は、AIが実はテキストのパターンマッチングをしているだけだという現実を見落とす。だから、曖昧な指示を投げるとトンチンカンな回答が返ってくる。あるいは、一度のプロンプトで完璧な回答が得られると思い込み、何度もやり直す無駄な使い方をする。Tokenと Embeddingの正体を知っていると、AIとの付き合い方が根本から変わる。AIの「理解」は人間のそれではなく、単なる統計的な次点予測であるという認識が、逆説的に、AIの真の使い道を明確にするのだ。

実務的には、AIに何かをさせたいときは、できるだけ具体的に、パターンとして明確に指示を出すということだ。「感じを汲んでくれ」という人間的な依頼では、AIは数学的には何もできない。代わりに「こういう状況の時はこうする」と事例を示す方が、はるかに精度が高い。AIは「思考する」のではなく「パターンを完成させる」機械だ、という認識が、仕事の効率を数段上げる。