オープン評価基準：NVIDIA Nemotron 3 NanoをNeMo Evaluatorでベンチマーク測定
このニュースの全文は、配信元でお読みいただけます。 Hugging Faceで元記事を読む →
編集部の実践記録から
AI解体新書
画面を操作するAIは、社内PCで動かせる段階に来たのか（AndroidWorld 79.3%が示す現在地）
H companyが公開したHolo3.1は、PC画面を見て操作するエージェントを0.8B〜35B-A3Bの複数サイズで提供し、モバイル操作精度は67%から79.3%へ改善したと報告しています。ただし発表は自社製品についての自社測定であり、最高性能でも約2割は失敗します。中小企業が今どこまで試せるかを整理します。
続きを読む →
AI解体新書
AIコーディングツールで開発は本当に速くなるのか ― 実測19%遅く、本人の実感は20%速い、という調査をどう読むか
METRが熟練OSS開発者16名・実課題246件をランダム割付で測ったところ、AI使用可の条件で完了時間は19%長くなりました。一方で開発者本人は終了後も20%速くなったと信じていました。中小企業が自己申告でROIを判断する危うさを、対象範囲の限界とあわせて整理します。
続きを読む →
AI解体新書
AIが書いたコードは自動テストに通れば完成なのか？自動採点38%に対しレビュー通過0件だった記録
METRが大規模OSS18課題でAIエージェントの成果物を測ったところ、人間が書いたテストによる自動採点は38%（±19%）だった一方、人間のレビュアーがそのままマージ可能と判断したPRは15件中0件でした。テストに通った4件でも修正見積りは平均26分。中小企業がAI開発ツールの投資対効果を試算するときに、何を工数に計上すべきかを整理します。
続きを読む →