Claude Code の Skill を英語で書き直したら、変わったのは精度ではなかった

Claude CodeのSkillについて、日本語で書いていた指示文を英語に書き直し、ユーザーに見える出力だけを日本語に保つハイブリッド構成で検証した。狙いは「英語で書けば精度が上がる」という通説の恩恵を受けつつ、レポートは日本語で読めるようにすることだ。同じ7ケース・39アサーションで測り直した結果、精度は39/39で日本語版と同じだった。出力言語も7ケースすべてで日本語を保ち、英語が漏れたケースはなかった。

面白いのは、通説を実測したら差が出なかった点だ。唯一動いたのは確信度ラベルで、連鎖死蔵のケースでは「高」が「中」に変わった。しかもその判定は、著者が自分のreferencesに書いたルール「exportされているが未使用の関数は外部利用の可能性を考慮して中」に、むしろ忠実だった。英語化で賢くなったのではなく、書かれたルールに素直に従っただけという読みができる。「言語を変えれば性能が変わる」という思い込みに、この結果は冷や水を浴びせる。本音を言えば、この規模の実測では「英語が優れている」とも「劣っている」とも断言できない。

中小企業が社内用のAIツールを作るなら、指示文の言語より、出力の言語と見出しやラベルの語を明示することの方が効く。「日本語で出力しろ」の一行だけでは、見出しやラベルから英語が滲むという著者の経験は、そのまま使える教訓だ。ただし各ケース1回の実行では、小さな差は見分けられない。導入の判断前には、同じ業務データで数回回して傾向を確かめるべきである。