検出ツールの良し悪しを precision / recall で測る：わざと紛らわしいケースを混ぜる
公開リポジトリ: https://github.com/mabuix/iac-guard 連載の締めです。①から一貫して「AIツールこそテストできる状態に保つ」と書いてきました。最後は、その検出がどれくらい当たっているのかを precision / recall で数字にする話です。 何を測るのか 検出ツールで見たい数字は2つ。 recall（再現率）: 本当に問題のあるものを、ちゃんと拾えているか（見逃していないか） precision（適合率）: 拾ったものが、本当に問題か（誤検知していないか） このツールで特に怖いのは precision の方。「安全な設定なのに危...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
AIエージェントの推論に「賞味期限」があるとは？ — FreshCtxが実行直前に証拠を再検証する仕組みで、中小企業の自動判断は何が変わるのか
モデルはハルシネーションを起こしていない、推論も間違っていない、ツールも正常に動いた。それでもアクションが間違う。原因は推論してから実行するまでに現実が変わる「証拠鮮度」の問題です。オープンソース化されたFreshCtxが何を再検証するのか、中小企業の自動判断で何が変わるのかを、当社の自動運用の実測とあわせて整理します。
続きを読む →
AIエージェントの推論に「賞味期限」があるとは？ — FreshCtxがオープンソース化され、中小企業の自動判断で何が変わるのか
モデルはハルシネーションを起こしていない、推論も間違っていない、ツールも正常に動いた。それでもアクションが間違う。原因は推論してから実行するまでに現実が変わる「証拠鮮度」の問題です。オープンソース化されたFreshCtxが何を再検証するのか、中小企業の自動判断で何が変わるのかを、当社の自動運用の実測とあわせて整理します。
続きを読む →
AIエージェントの推論は実行するころには古いのか — FreshCtxが実行直前に証拠を再検証する仕組みで中小企業の自動判断は何が変わるのか
モデルはハルシネーションを起こしていない、推論も間違っていない、ツールも正常に動いた。それでもアクションが間違う。原因は推論してから実行するまでに現実が変わる「証拠鮮度」の問題です。オープンソース化されたFreshCtxが何を再検証するのか、中小企業の自動判断で何が変わるのかを、当社の自動運用の実測とあわせて整理します。
続きを読む →