#新モデル Zenn AI 2026年7月18日

AIレビューが強すぎて終わらない — Fable 5とGPT-5.6 Solで学んだ「収束判定をモデルに任せるな」

! Fable 5に約4時間42分、GPT-5.6 Solに6時間あまり設計レビューをさせた。どちらも実装へ進まず、最後は自分で止めた。reviewerが弱かったわけではない。逆だ。直すたびに、別のまともな穴を見つけてきた。 「いつかfindingがゼロになる」を待つのは無理だった。reviewerとは別に、何を残して止めるかを決める仕組みが要る。 multi-agent peer reviewを回していた 大きな設計変更の前に、複数のAIへ独立レビューをさせている。 大まかな流れはこうだ。 技術・運用・コストの3視点でpeer reviewerを並列実行する findingを構...

出典: Zenn AI（配信元の紹介文より引用）

このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →

この話題に関連する、TOEの実践・観測記録

ニュースの背景を、当社が実際にAIを動かした一次記録から補足します。

AI解体新書

音声AIエージェントは正答率だけで選んでよいのか——50シナリオ・20システムの評価が示したもの

ServiceNowが公開した音声エージェント評価フレームワークEVAは、航空会社ドメインの英語50シナリオ・15ツール・20システムを対象に、精度（EVA-A）と会話体験（EVA-X）を別々に測りました。全構成でこの2つがトレードオフになったという報告を、中小企業の選定手順にどう落とすかを整理します。

続きを読む →

AI解体新書

業務AIエージェントの「成功率」だけ見ていると、なぜ改善できないのか — 310トレースを失敗の型で数え直した結果

IBM Research と UC Berkeley が、IT運用タスクを実行したAIエージェントの実行トレース310本を「失敗の型」で分類しました。失敗した実行1回には平均2.6〜5.3個の問題が同時に起きており、成功率という単一の数字が改善の役に立たない理由が数字で示されています。中小企業がPoCの評価条件をどう書くべきかまで整理します。

続きを読む →

AI解体新書

AIエージェントへの指示は「会議ID」と「来週の営業会議」で成功率がどれだけ変わるのか？約90%と約40%

OpenEnvのCalendar Gym環境で、AIエージェントのタスク成功率は対象を識別子（ID）で明示した場合に約90%、同じタスクを自然言語で表現した場合に約40%でした。失敗の半数超はツール引数の書式ミスか実行順序の誤りです。発信元はこの評価環境の提供者であり、n数や評価モデル名は開示されていません。

続きを読む →