AIの鬼
#研究動向 Zenn AI

Few-shot例を5個渡したら、AIが真似したのは最後の1個だけだった

Few-shot例を5個渡したら、AIが真似したのは最後の1個だけだった(内容を表す図ではないイメージ画像)
イメージ

5個のFew-shot例を用意してAIにプロンプトエンジニアリングを試みた研究者がいた。質問形コメント4個と命令形コメント1個を渡し、「状況で使い分ける」ことを期待した。しかし生成物を見ると、命令形一色だった。順序を入れ替えても同じ結果——末尾に置いた口調が、毎回生成物を支配していた。これは「Lost in the Middle」現象のFew-shot版だ。複数の例を並べると、LLMが学ぶのは全体ではなく、最後に読んだ1個だけになってしまう。その理由はLLMの注意メカニズムにある。生成直前に読んだトークン(末尾の例)の影響が強く、中央に置いた例はほぼ無視される。実測では中央位置の反映率が4%という無視同然の数字だった。これは人間の記憶研究で知られた「系列位置効果」という心理現象——最初と最後は覚えているが、真ん中は消えてしまう——がLLMの生成機構にもそのまま現れたことを意味する。つまり、5個の例を渡すのは、実は1個と同じ効果に落ちてしまうのだ。この知見は、AIを使う側の実務には直接効く。まず、Few-shotの数は2個に絞るべき。5個渡す労力の80%は無駄になっている。その代わり、末尾に置く1個だけは吟味する。生成物に反映させたいスタイル・口調・形式は、末尾に置く。もし複数の口調を使わせたい場合は、末尾に「両方が混在する例」を明示的に作る。末尾の1個にtypoがあれば、生成物の40%以上にそれが伝染する危険もある。最後の例は声に出して読み上げてチェックするだけで、品質が数割変わる。中小企業がAIでドキュメント生成やコード生成を試みるとき、この位置バイアスを知っているだけで無駄な実験が減る。たくさんの良い例を並べるのではなく、「末尾の1個を完璧にする」という戦略に切り替える。その1個が全体を支配するなら、そこに全力を注ぐ方が効率的だ。

※ 上記は配信元記事をもとにAIの鬼編集部が要約・再構成したものです。正確な内容は出典元をご確認ください。

御社でもAIを使ってみませんか
まずはここから 御社でもAIを使ってみませんか? 御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。 「ChatGPTの使い方」を教えるだけの研修ではありません。 AI研修・AI活用相談 →