ChatGPTはどのように文章を生成するのか？ — LogitsとSoftmaxを理解する
前回の記事では、LLMがどのように学習するのかを整理しました。 LLMは、次のTokenを予測し、その予測と正解との違いをもとにパラメータを更新します。 この処理を大量のデータに対して繰り返すことで、次のTokenを予測する能力を学習していきます。 では、学習したLLMは、実際にどのように文章を生成しているのでしょうか？ 今回は、その文章生成の基本的な流れについて整理してみます。 1. 文章生成は「次のTokenを予測する」こと LLMの文章生成は、基本的にはとてもシンプルです。 これまでの文章をもとに、次に来るTokenを予測する という処理を繰り返します。 例えば、 私は...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
AIエージェントに専用コマンドを渡すと何が変わるのか？18タスク1,000回で成功率84%が94%になった記録
Hugging Faceが同一の18タスクを各10回、計約1,000回走らせて比較したところ、専用CLIを使ったエージェントの成功率は94%、汎用のAPI直叩きでは84%でした。トークン消費は最大6.0倍の差がつく一方、単発の読み取りでは専用化が不利になる線引きも示されています。
続きを読む →
AIエージェントはどこで失敗するのか？8,000超のAPI・62ドメインで測ったVAKRAが示す設計の上限
IBM Researchが公開したエージェント評価基盤VAKRAは、8,000以上のAPIと62ドメインを模した環境で、推論チェーン3〜7ステップを要しうる課題を解かせるものです。ツール候補の多さ、手順の長さ、社内ルールの遵守という3条件で失敗が増える構造を、中小企業の設計判断に引き直して読み解きます。
続きを読む →
チャットボット以外の業務AIでも「人の好み学習」は効くのか？OCRで出力崩れが平均59.4%減という実測
DPO（直接選好最適化）はチャット向けの手法という理解が一般的ですが、OCRという機械判定可能な業務で検証した結果、文字化けや無限ループといった出力崩れの発生率が平均59.4%、最良ケースで87.6%減ったという数字が出ています。ただし発信元は当該OCR製品の提供者であり、効果には3つの条件がつきます。
続きを読む →