AIを使っているのに、LLMのことを説明できないエンジニアへ

ChatGPTにコードを書かせたり、エラー原因を聞いたり、仕様書を要約させるのはもう珍しくない。しかし「LLMって何をしているのか」「なぜ嘘をつくのか」「何を予測しているのか」と聞かれて、エンジニア自身が明確に説明できるとは限らない。この記事は、そうした「使ってるのに仕組みがわからない」層に向けた、LLMの基礎教養である。要するに、LLMとは大量のデータから「言葉のパターン」を学習し、与えられた文脈に続くトークンを生成するモデルに過ぎない。ただし、この「単純な予測」から、コード生成や文章要約といった複雑な振る舞いが生まれる。

重要な指摘は、LLMが「考えている」わけではなく「パターンを予測している」ということだ。ChatGPTが「まず条件を整理します」と説明的に書いているのは、人間のような思考プロセスに見えるが、実際には大量の文章データから習得したパターンに従っているだけである。さらに、LLMは「検索エンジンではない」という認識も重要だ。Googleなどの検索サーチは現存する情報を検索して返すが、LLMは学習済みデータに基づいてパターンで出力を生成する。つまり、最新情報は知らないし、ハルシネーション（もっともらしい嘘）も発生しやすい。一方で、この欠点を理解した上で、検索・データベース・APIと組み合わせれば、より実用的なAIシステムが作れる。これがRAGやTool Useといった次のステップにつながる。

エンジニアとして押さえるべきポイントは、トークンコストの管理だ。LLMのAPIは入力・出力のトークン数で料金が決まるため、何をモデルに渡すかが直接的にコスト・性能に影響する。また、学習（Training）と推論（Inference）は別プロセスであり、ChatGPTに何かを「教える」つもりで質問しても、モデルそのものは学習し直さない。さらに、LLMには一度のリクエストで扱えるトークン数に上限（コンテキストウィンドウ）があるため、システム設計の段階で「どの情報をLLMに含めるか」の戦略性が勝負を分ける。この認識なしに、LLMを使ったシステムの最適化は実現しない。