社内特化AIを3種類つくって分かった「効果測定できないAIは続かない」という話

一人情シスとして社内向けの生成AIを導入した筆者が、最初の2週間は好評だったものの、3か月後に効果を経営層へ説明できなくなった経験を書いている。文章作成支援、レポート要約、研修ロールプレイングの3種類を内製したが、用途ごとに効果の形が違ったという。文章作成は執筆速度より着手までの心理的ハードルに効き、要約だけは比較対象があったため削減時間を素直に測れた。研修ロールプレイングは時間で測ろうとしたところ、練習回数が増えて総時間がむしろ増えていたという。

AIの鬼の視点で面白いのは、筆者が「削減時間」という一番分かりやすい指標を、報告の寸前で捨てた点である。AIの導入効果を削減時間で語りたがるのは、経営層も現場も同じだが、体感に頼った数字は「本人がそう言っているだけ」と突っ込まれて崩れる。筆者はそこで「継続率」と「再利用率」という、ログから客観的に取れる指標へ主役を移した。削減の看板を降ろして、使い続けられているかを見る。これは社内AIを「効果を出す道具」ではなく「続く仕組み」として扱う、という見方の転換だ。実際には、半年後の報告文を先に書いてから記録項目を逆算するという、順番の逆転が最も真似しやすい工夫になっている。

中小企業の実務に置き換えると、社内AIを入れるなら導入前に「半年後に何と報告するか」を一文で書いておくことである。使われているかどうかを用途別に数え、出力がそのまま使われたかを一度だけ聞く。数字がないまま予算の話になる前に、この一文が書けるかを確認するだけで、社内AIは説明できる資産になる。