「自分の判断」をAIに再現させるために、RAG・プロンプト・コードの役割分担を考えた

AIに自分の経験や知識を継承させたいと考えるとき、多くの人が最初にやることは、過去の文章や資料をできるだけ多く学習素材にすることだ。ある開発者は、アプリ・システム開発の相談を支援するAIを試作するため、noteの公開記事152本と下書き73本、過去の見積書40件以上を用意した。徹底した準備だ。しかし結果は「自分の代わりに判断するAI」にはならなかった。データの量を増やしても、判断の再現は進まない。必要だったのは、資料の量を増やすことより、自分が何を根拠に判断しているかを言語化し、知識、判断、計算、制約を別々に扱うことだった。

RAGが「すべての資料を毎回渡す仕組み」ではないこと、これが最大の気付きだ。最初は見積マスターと判断原則の全文をシステムプロンプトに入れ、約34KBになった。情報を増やした分だけ回答が良くなると考えていたが、実際には「質問は一度に一つ」といった重要な指示が埋もれ、UIからの利用に不便が生じた。そこで毎回必要な判断だけを9KBのダイジェストに圧縮し、過去情報は相談内容に関係するものだけを検索して渡すように変えた。その結果、情報の置き場所は自然と決まっていった。毎回必要で短くできる判断はプロンプトに、量が多く案件によって必要性が変わる知識はRAGに、頻繁に更新される技術情報は外部データに、必ず一致させる計算はコードに。

もう一つ重要なのは「何をAIに任せるか」より「何をAIに任せないか」を決めることだ。LLMは曖昧な相談から意図を読み取り相手に合った言葉で返すことに向いているが、金額計算や出力形式の統一は任せると不安定になる。見積では、AIに機能の選択肢を返させ、金額はアプリ側で再計算するように分割した。こうすることで、存在しない機能IDの拒否、数量の上下限確認、最新単価の取得といった処理を決定論的に実行できる。中小企業がAIを業務に組み込むとき、「AIは万能」という前提を捨て、役割を明確に分割することが、実用的で堅牢なシステムの条件になる。