【AI駆動開発 6】改善を定例化する — 「大切」なだけでは忘れる
! よくある状態：メモリへの保存もスキルの改善も「大事なのはわかってる」。でも気づいたら1か月何もしていない。 こうする 「定期的に時間を取ってやる」と決めておく。 それだけです。 たとえば週1回30分、こういう棚卸しをする： 今週AIに指摘したこと・巻き取ってしまったことを振り返る → 再発防止をメモリ／コードの地図／スキルのどれかに落とす 今週2回以上やった手作業はないか → スキル化候補 スキルやドキュメントで「実態とズレてるな」と感じた箇所を直す 「AIには無理」と思ったことを1つ選んで、「本当にできないのか」を検討する なぜ 改善は緊急ではないからです。 目の前...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
AIに観点リストを渡すと精度は上がるのか？合成データで100.0%だったF1が実データで41.7%に落ちた検証
AIに「見るべき観点リスト」を与えると、自作の検証データでは検出率が20.0%から100.0%に跳ね上がりました。ところが同じ設定を実データに当てると、F1は41.7%まで落ち、観点リストなしの素のAI（61.5%）を下回りました。手元のテストで満点だから本番でも大丈夫、という判断がなぜ危険なのかを、論文の実測値で確認します。
続きを読む →
AIの判定スコアを揺らすだけで攻撃は防げるのか — 成功率100%が43〜59%に下がった実験
社外に公開したAI判定APIは、1万回の問い合わせで判定をすり抜ける入力を作られます。2026年7月公開の研究は、返す信頼度スコアをランダムに歪めるだけで攻撃成功率が100%から43〜59%に下がり、分類精度は0%低下だったと報告しました。ただしゼロにはなりません。
続きを読む →
AIエージェントは業務を何割まで自力で終わらせられるのか（1,431タスクで58.54%）
現実業務に近い1,431タスクを集めたベンチマーク「OmniaBench」で、最高性能クラスのモデルの1回目成功率は58.54%だった。おおよそ2回に1回は失敗する水準であり、中小企業が受発注や見積をエージェントに丸投げする段階ではない。ただし工程の切り出し方次第で実用域は確かに存在する。
続きを読む →