AIを褒めると性能は上がるのか？――文脈・メモリ・重み更新・RLHFを分けて考える

LLMに「今の回答は良かった。その方向で続けて」と返すと、後続の回答が良くなることがある。これを「AIが褒められて学習した」と説明すると直感的だが、技術的には別々の仕組みを混同している。記事は少なくとも4つの層、つまり推論時のコンテキストによる条件付け、会話履歴や外部メモリの再投入、学習によるパラメータ更新、開発時に人間の評価を使うRLHFを分けて考えるべきだと整理している。結論として、会話中の称賛が後続の出力に影響することはあるが、それだけで「その場で重みが更新された」とは言えない。

面白いのはここだ。「褒めたら賢くなった」は、上司に褒められて部下が張り切る話と構造が似ていて、比喩としては誰にでも通じる。ただ、張り切ったのは本人の中身が変わったからではなく、場の情報が変わったからだと読むのが正確だ。褒め言葉は「評価ラベル付きの追加コンテキスト」として働く。「今の回答が良かった」より「結論→理由→例の順番が良かった。次もこの構造を維持して」の方が、再利用すべき特徴を明示するから効く。感情で褒めるより、基準を言語化する方が効く。ここが記事の核心だ。

中小企業の実務でいえば、AIに「よくやった」と言うより「何が良かったか」を書く方がいい。たとえば「良かった点: 結論が先、例が具体的、前置きがない」「次も維持: 300〜500字、結論→理由→例の順」と書く。否定的なフィードバックも「事実関係は正しいが、前提説明が長すぎる。次は前提を2文以内にする」と具体的に伝えれば修正方向が揃う。明日からの一言は「褒めるのではなく、評価基準を書け」だ。なお、メモリ機能が有効なら過去の情報が将来の会話に影響するが、それはモデルが学習したのではなく外部の状態が変わったのだと区別しておくといい。