AIに100通り試させたら、効果ゼロなのに5個が「有意」だった
! この記事の表は、すべて記事末尾のスクリプトの出力です。外部データは使っていません。乱数だけで動きます。 AIエージェントに施策を検証させると、人間の手作業とは桁の違う数を試せます。**セグメントを100通り切って、全部測って、勝ったものを報告させる。**数分で終わります。 そこで出てきた「勝ち」を、私は最初、発見だと思っていました。 違いました。 以下はすべて、乱数だけで動くスクリプトの実測値です。外部データは使っていません。スクリプトは記事の最後に置いたので、手元で同じ数字が出ます。 まず、いちばん怖い表 A と B がまったく同一の仕組みだったとき（真の効果はゼロ）、それで...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
なぜ高性能モデルに丸投げすると失敗するのか？トークン30分の1・成功率1桁台から80%超という報告の読み方
IBM Researchが、業務AIをLLM単体ではなく従来型ソフト部品で誘導する「エージェントロジック」で組み直したところ、トークン消費が最大30分の1、成功率が1桁台から80%超に改善したと報告しました。数字の条件と、自社製品の提供者による発表という前提を踏まえ、中小企業が投資すべき場所を整理します。
続きを読む →
音声AIエージェントは正答率だけで選んでよいのか——50シナリオ・20システムの評価が示したもの
ServiceNowが公開した音声エージェント評価フレームワークEVAは、航空会社ドメインの英語50シナリオ・15ツール・20システムを対象に、精度（EVA-A）と会話体験（EVA-X）を別々に測りました。全構成でこの2つがトレードオフになったという報告を、中小企業の選定手順にどう落とすかを整理します。
続きを読む →
業務AIエージェントの「成功率」だけ見ていると、なぜ改善できないのか — 310トレースを失敗の型で数え直した結果
IBM Research と UC Berkeley が、IT運用タスクを実行したAIエージェントの実行トレース310本を「失敗の型」で分類しました。失敗した実行1回には平均2.6〜5.3個の問題が同時に起きており、成功率という単一の数字が改善の役に立たない理由が数字で示されています。中小企業がPoCの評価条件をどう書くべきかまで整理します。
続きを読む →