【試し読み】RAG構築入門 — LLMの「知識」という壁を突破する

2023年のChatGPT登場以降、LLMは自然な対話やコード生成で大きな注目を集めた。しかし、業務に組み込もうとした開発者はすぐに壁にぶつかった。LLMは訓練データ以降の新しい情報を知らず、社内文書や顧客データといったプライベートな知識も持たない。さらに、知らないことを聞かれても「知らない」と言わず、もっともらしい嘘をつくことがある。この3つの限界を突破する手段として挙げられているのがRAG（検索拡張生成）だ。質問が来たら外部の知識ベースから関連情報を検索し、その結果をプロンプトに加えてから回答を生成させる。発想は単純だが、ドキュメントの分割、ベクトル化、検索精度の向上、回答の根拠の示し方など、設計判断の積み重ねで成り立っている。

ここが引っかかるところだ。RAGは「AIを賢くする技術」と紹介されがちだが、実態はモデルの頭を入れ替えるものではない。AIに閲覧権限のある書庫を与え、机の上にカンニングペーパーを置くようなものだと考えるとしっくりくる。そして、カンニングペーパーが不正確なら、どれほど優秀なモデルでも間違える。RAGの成否は生成モデルよりも検索の質で決まる、という点は、導入の現場で軽視されやすい。タイトルにある「壁の突破」は少し言い過ぎで、正確には「壁の手前に検索係を立てる」仕組みだ。書籍は全10章30節で、コードはPythonを前提にしている。

中小企業の実務に落とすなら、まず社内文書の整理が先になる。規程やマニュアルが散らばったままRAGを入れると、散らかった答えを自信満々に返すシステムができあがる。社内の質問に答えさせる前に、「その答えの元になる文書はどこにあり、誰が最新版を管理しているか」を一覧にしておくこと。明日からの一言は「AIに社内のことを聞かせる前に、答えの出どころを棚卸しせよ」だ。