AIの出力は揺れる前提で組む：モデルに依存しないエージェント運用設計

前回の記事では、Claude CodeとCodexの設計思想の違いを比べた。同じ依頼でも信頼できる部分がモデルごとに違い、バージョンが上がるとまた変わる。出力品質はモデルやバージョンに対して不安定で、実行のたびに結果が揺れる。この記事は、その揺れを消そうとせず、揺れる前提で運用を組む方法を検討している。出力を安定させるにはモデル固有のプロンプト調整が必要になり、モデルが変わるたびにやり直しになるからだ。

ここで面白いのは、「ルールを読ませているのに破る」という現象の正体である。同じモデルにレビューを頼むと、そのルールを引用して自分の違反を指摘できる。能力がないのではなく、作業中にその条文を思い出して使う行為が自動では起きないのだ。ルールを書いた紙を棚に入れておいても、料理中にレシピを開かなければ味は変わらない。複数の研究でも、文脈が長くなるほど指示の遵守が落ちることが確認されている。だから「もっと詳しく書く」より、「確認する手順を仕組みとして挟む」ほうが効く、という結論になる。さらに言えば、具体例を増やすほど想定外の場面で誤動作が増えるという指摘も重要だ。

中小企業の実務に落とすなら、「AIに指示書を渡したから大丈夫」と思わないことだ。見積書や社内マニュアルをAIに作らせたら、最後に決めておいたチェック項目と照合する一手間を、人か仕組みで必ず入れる。AIが守るかどうかで品質を決めず、守られなかったときに外側で止まるかどうかで品質を決める。これが、モデルが変わっても困らない運用の基本になる。