オンデバイスAI時代のRAGアプリ設計を考える

Google Tensor SDKがAndroidの標準に組み込まれる。GemmaなどのローカルLLMがスマートフォン単体で動く。一見すると、これまでクラウドに頼っていたAI機能が不要になるように見える。だが著者の切り口は違う。Google AIが「世界中の知識」を扱うなら、RAGアプリが扱うのは「自分だけの知識」だ。点検マニュアル、社内議事録、過去の取引先記録。それらの企業固有の資産をAIに食わせて初めて価値が出る。汎用AIは万能だが自社の事情は知らない。オンデバイスAI時代だからこそ、自分たちのデータをローカルで守り、ローカルで検索させる必要が出てくる。そこでRAGが本当の価値を持つ。

設計の鮮やかさは「LLMを交換可能にする」という点にある。Gemma4が最適だと思っていても、数年後には別のモデルが主流になっているかもしれない。だから最後の推論エンジンをProvider（差し替え可能な部品）として切り離す。検索から埋め込みまではRAG側が担い、LLMにはプロンプトと知識だけ渡す。この設計なら、Google Tensor SDK、Ollamaローカルサーバー、クラウドのOpenAIなど、どれを使い始めてもコア部分は変わらない。技術トレンドが月単位で変わる時代に、今のLLMに張り付く実装は自殺行為だ。

製造業が自社ノウハウをAIに食わせたいというニーズは本物だ。ただ「クラウドに預ける」のが不安、あるいは「オンプレで自分たちで守りたい」という要望も増えている。本記事が示す設計思想は、その両立を技術的に実現する道しるべだ。LLMの進化は速い。その速度に合わせて交換できる設計にしておく。それが数年後の自社システムを死なせない秘訣だ。