【付録】tagasill/chatの定量的評価

個人のSNSや作品から構築したデータベース、tagasillを検索・参照するAI チャット、tagasill/chat の実用性を定量的に評価した実験があります。同じGemmaの素のバージョン、パーソナライズ機能なしのClaude、メモリファイル付きのClaudeなど複数の条件で300問のプロンプトに回答させ、その精度を計測しました。結果として、個人データベース＋検索機能を持つtagasill/chatはオープンソースのGemmaに比べ実務的な優位性が確認されました。特に回答者の過去ログから情報を引用できるPersonalカテゴリで効果が大きく、データベース機能が無効なGenericカテゴリでも検索機能による情報の厚みで優位を保ちました。

しかし同時に、重大な問題も浮かんできました。300件の回答から検証可能な事実を機械的に抽出し、Webで裏取りしたところ、時事ネタを誤認識する、ソースに具体的な数値がないのに数値を捏造するといったハルシネーションが見つかりました。パーソナライズ化された回答は、見慣れない具体性に対してAIが疑い、評価を下げる傾向も見られました。つまり、パーソナライズは「有効だが、個人情報がどこまで登録されるのか」という不気味さを伴うのです。

企業がこうしたRAGツールを導入するとき、利便性だけを見ては危険です。社内情報や個人的な知見をAIに学習させることは確かに回答精度を上げますが、その情報がどこに、どの形で保管されるのか、本当に必要なときだけアクセスされるのかを確認する必要があります。中小企業が「スタッフ個人の経験をAIに覚えさせたい」と考えるなら、利便性と情報管理のバランスを、導入前に経営層と実務者で明確に決めておくことが、後のトラブルを防ぐ鍵になるのです。