自己ラベルと学習アルゴリズム ― 多数決で擬似正解を作り GRPO/ADPO で重みを更新する【プロンプトで読み解くAIエージェント #11

AIエージェントを自分で作れるようになるには、単に既存モデルを呼び出すだけでは足りません。このシリーズは実存するOSSエージェント3つの実コードを読み解きながら、その中身を明かしていく連載で、この回は学習ループそのものを開けます。ここまで見てきた「動機づけ」と「報酬設計」の先にあるのが、実際にモデルの重みをどう更新するか、という問題です。

鍵になるのは「多数決で擬似正解を作る」という発想です。通常、AIモデルの学習には教師データが必要ですが、エージェント開発ではそもそも「正解」を事前に用意できません。だから複数回の試行結果を多数決で正解に仕立て、それを学習信号にする。GRPOやADPOといったアルゴリズムは、この「自分で正解を作ってから学習する」というサイクルを回す仕組みです。要するに、エージェント自身が試行錯誤して、その成功例を集めて、そこから学ぶ。人間が「こうしろ」と指示するのではなく、失敗から自分で法則を掴む学習になっているわけです。

ここが業界的に面白いのは、このアプローチが「SFT（Supervised Fine-Tuning）での限界を認めた」ということです。数万件の教師データで学ばせるだけでは、多様な問題に対応できるエージェントには育たない。だから自己ラベルと強化学習ループで、本当の意味での「問題解決能力」を鍛える段階に入ったんです。自分でコード検証ツールを使い、自分で結果を判定し、その失敗から学ぶ。これはプロンプトの工夫では絶対に解けない根本的な進化です。

実務的には、こういった自己学習ループの考え方は、社内で展開するAIシステムの設計でも重要になります。完璧なデータで一度だけ学ばせるのではなく、実運用の中で失敗を拾い、そこから改善していく仕組みを最初から組み込む。大規模言語モデルは勝手には上達しません。でも正しい学習ループを作れば、使うほどに賢くなるシステムになるんです。