【RAG】話題の米国AIベンチャーで実践される「社内ナレッジ」管理

AI半導体ベンチャーのCerebrasが、社内ナレッジ検索システムをどう構築しているのかを公開した。Cerebras Knowledge と名付けられたこのシステムは、1日15,000件以上の質問に回答しており、人間だけでなく社内のAIエージェントも利用しているという。ここで最も意外な選択が、ベクトルDB専用ツール（PineconeやElasticsearchなど）を使わず、Postgresだけで全てを実装していることだ。キーワード検索にはGINインデックス、ベクトル検索にはpgvectorを使い、全データを一つのRDBテーブルに集約している。

この設計から読み取れるのは、RAGの理想と現実の大きなズレだ。一般的には「全社内情報を一つのプラットフォームに集約しよう」と言われるが、Cerebrasは敢えてそれを捨てている。理由は明快：情報は生まれやすい場所で発生する。議論はSlackに、コードはGitHubに、タスクはJiraに散在する現実からは逃げられないということだ。さらに重要なのは、素朴なベクトル検索の弱点を認識していることだ。短い返信「了解」がAIのコサイン類似度では有益な長文より優先されてしまう。そこでCerebrasは、Slackのスレッド全体をLLMで構造化してから取り込み、長いスレッドから有用な発言を抽出し、複数チャンクとして保存する。検索時には4つの手法（キーワード、ベクトル、単語の希少性、情報鮮度）を並列実行して結果を統合する。つまり、「ベクトル検索は万能」ではなく、データ前処理と複合スコアリングが精度を決めるということだ。

社内ナレッジシステムを導入する中小企業にとって重要なのは、「どのツールを選ぶか」より「データをどう前処理するか」である。非構造データ（Slack、メール、チャットログ）をAIに投げる前に、意味を抽出し、ノイズを除去し、検索しやすい形に変形させるパイプラインが成功の分岐点になる。