37. 「0/13」という検証結果を疑わなかった話 ― pipefailとgrep -qの罠
0/13という数字 Zennに公開済みの記事15本に修正を入れた。数値の訂正や情報の更新などだが、公開済み記事を触ったからには「本当にサイトに反映されたか」を機械的に確認したい。手作業で開いて目視するのは面倒なので、本番URLをcurlで取ってきて修正後の文字列が含まれているかをgrepで判定する検証スクリプトを書いた。 修正内容から一意に判定できる文字列を選べたのは13本。実行結果は0/13だった。全滅である。 一瞬「修正が全部サイトに反映されていない」と結論を書きそうになった。デプロイの仕組みが壊れているのか、キャッシュが古いままなのか、頭の中で原因候補を並べ始めていた。だが手が...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
正解データなしでAIの採点基準は作れるか──質問1つから基準を育てて平均精度80.36%
AIの出力が良いか悪いかを判定する採点基準を、人間が正解例を用意せずに質問1つから自動生成する手法が報告されました。平均ペアワイズ判定精度は素朴な生成の73.45%に対して80.36%。中小企業がAIチェッカーを社内に入れる際の「判定基準づくり」の人件費に直結する話として読み解きます。
続きを読む →
AIに観点リストを渡すと精度は上がるのか？合成データで100.0%だったF1が実データで41.7%に落ちた検証
AIに「見るべき観点リスト」を与えると、自作の検証データでは検出率が20.0%から100.0%に跳ね上がりました。ところが同じ設定を実データに当てると、F1は41.7%まで落ち、観点リストなしの素のAI（61.5%）を下回りました。手元のテストで満点だから本番でも大丈夫、という判断がなぜ危険なのかを、論文の実測値で確認します。
続きを読む →
AIの判定スコアを揺らすだけで攻撃は防げるのか — 成功率100%が43〜59%に下がった実験
社外に公開したAI判定APIは、1万回の問い合わせで判定をすり抜ける入力を作られます。2026年7月公開の研究は、返す信頼度スコアをランダムに歪めるだけで攻撃成功率が100%から43〜59%に下がり、分類精度は0%低下だったと報告しました。ただしゼロにはなりません。
続きを読む →