AIの鬼
#新モデル Zenn AI

トークンとは何なのか?AIが文章を読む仕組み

トークンとは何なのか?AIが文章を読む仕組み(内容を表す図ではないイメージ画像)
イメージ

はじめに ChatGPTやClaudeなどのAIを使っていると、必ず目にする「トークン」という言葉があります。 APIの料金表示を見ても「入力トークン数」「出力トークン数」という項目があり、料金を計算する際の基準になっています。つまり、AIを使うには、トークンが何かを理解することが不可欠なのです。 しかし、「トークンって何?」と聞かれると、答えに困る人も多いのではないでしょうか。単語?文字数?それとも別の何か? 本記事では、AIがテキストを処理する仕組みと、トークンが果たす役割について、実際の例を交えながら説明します。記事の通りに読み進めれば、次のことが理解できるようになります: ...

出典: Zenn AI(配信元の紹介文より引用)
御社でもAIを使ってみませんか
まずはここから 御社でもAIを使ってみませんか? 御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。 「ChatGPTの使い方」を教えるだけの研修ではありません。 AI研修・AI活用相談 →