star 3.7万のAI Slop検出Skillは、日本語だと6パターンが空振りする

英語圏で3.7万starを集めた「blader/humanizer」は、AI Slopを検出するSkillだ。筆者はそのSKILL.md（30,409バイト）を全文読み、日本語への言及が1箇所もないことを確かめた。そのうえで35パターンを1つずつ、日本語で成立するかどうかで仕分けた。結果は、半分以上はそのまま使えるが、6つは日本語では成立しない。放置すると害が出るのは、英語で「missing subjects」と呼ばれる項目だ。

AIの鬼の視点で言えば、この記事の核心は「精度が低い」ではなく、「検出の前提が言語ごとに反転している」という発見だ。英語では主語の省略が欠陥として扱われるが、日本語では文脈から取れる主語を毎回書く方が不自然になる。有効のままだと、まともに書けた段落ほど大量に指摘が返ってくる。筆者も最初は指摘の山を見て「日本語では精度が出ない」と判断しかけた。しかし問題は精度ではなく、項目の向きだった。さらに、筆者が一番AIっぽいと感じていた「浮き彫りにする」は、180サンプルで0回だった。感覚で作った禁止語リストは、実測の前では当たらない。

中小企業の実務に効く一言はこうだ。AIっぽさを消す道具を入れるなら、まず自分の文章で判定結果を数件だけ人の目で確かめる。引っかかった指摘が本当に直すべきものかを見て、誤検知が多い項目は外す。道具の数字を信じる前に、道具の前提が自社の言葉に合っているかを確かめる。それだけで、無駄な書き直しはかなり減る。