AI DevSummit 2026 参加レポート
はじめに 2026年5月27日・28日にサウスサンフランシスコで開催された AI DevSummit 2026 に参加してきました。 会場の South San Francisco Conference Center 現地で感じたのは、AI の「導入フェーズ」はもう終わり、みんな「どう安全に成果へつなげるか」を模索している、という空気でした。実際、会場で繰り返し語られていたのは次のような問いでした。 AI で PR は増えたのになぜ機能リリースは増えないのか ユーザーはどうすればエージェントを信頼してくれるのか 悪意のないエージェントがなぜ重大事故を起こすのか この記事では、現...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
AIに観点リストを渡すと精度は上がるのか？合成データで100.0%だったF1が実データで41.7%に落ちた検証
AIに「見るべき観点リスト」を与えると、自作の検証データでは検出率が20.0%から100.0%に跳ね上がりました。ところが同じ設定を実データに当てると、F1は41.7%まで落ち、観点リストなしの素のAI（61.5%）を下回りました。手元のテストで満点だから本番でも大丈夫、という判断がなぜ危険なのかを、論文の実測値で確認します。
続きを読む →
AIの判定スコアを揺らすだけで攻撃は防げるのか — 成功率100%が43〜59%に下がった実験
社外に公開したAI判定APIは、1万回の問い合わせで判定をすり抜ける入力を作られます。2026年7月公開の研究は、返す信頼度スコアをランダムに歪めるだけで攻撃成功率が100%から43〜59%に下がり、分類精度は0%低下だったと報告しました。ただしゼロにはなりません。
続きを読む →
AIエージェントは業務を何割まで自力で終わらせられるのか（1,431タスクで58.54%）
現実業務に近い1,431タスクを集めたベンチマーク「OmniaBench」で、最高性能クラスのモデルの1回目成功率は58.54%だった。おおよそ2回に1回は失敗する水準であり、中小企業が受発注や見積をエージェントに丸投げする段階ではない。ただし工程の切り出し方次第で実用域は確かに存在する。
続きを読む →