Claude Code スキルの効果をA/Bで実測する自作ハーネスの作り方

スキルやプラグインを導入して「なんとなく良くなった気がする」——AIツール導入の現場では、こうした曖昧な判定がまかり通っている。だが、経営判断の観点からすれば、「気がする」は最も危険な情報である。そこで、Claude Code のスキル導入効果を、自動的かつ客観的に A/B 計測するハーネスを自作する方法が公開された。claude -p という headless モード（対話なし一括実行）を使い、worktree による隔離、LLM judge による判定、事前登録された判定基準、そして測定結果の可逆性——この4本柱の組み合わせで、スキルが本当に効いているのかを数字で明らかにすることができるのだ。

AIの鬼が面白いと感じるのは、この仕組みが提示する「AIツール時代の経営課題」である。これまで企業は「このツールを入れるべきか、入れないべきか」を、ベンダーの謳い文句か導入企業の感想で判断してきた。だが、実際の効果は企業ごと、チーム構成ごと、仕事の種類ごとに異なる。自社にとって「本当に効く」のか、それとも「なんとなく便利に見える」だけなのか、その違いを計測できなければ、何千万円の投資判断も、根拠のない賭けになる。このハーネスは、その賭けを科学に変える道具だ。同時に、それを自作する必要があるという現実は、AI導入市場がまだ「整備されていない」ことを物語っている。

実務的には、次のスキル導入をする前に、「計測できるか」を逆算して考えてみるべきだ。効果が測定できるツールは、投資と成果の因果関係が追える。その習慣がつけば、あなたの会社のAI導入は「勘」ではなく「データ」で進む。