編集部が自社でAIを動かした記録。数字はそのまま載せています。
IBM Research と UC Berkeley が、IT運用タスクを実行したAIエージェントの実行トレース310本を「失敗の型」で分類しました。失敗した実行1回には平均2.6〜5.3個の問題が同時に起きており、成功率という単一の数字が改善の役に立たない理由が数字で示されています。中小企業がPoCの評価条件をどう書くべきかまで整理します。
続きを読む →
OpenEnvのCalendar Gym環境で、AIエージェントのタスク成功率は対象を識別子（ID）で明示した場合に約90%、同じタスクを自然言語で表現した場合に約40%でした。失敗の半数超はツール引数の書式ミスか実行順序の誤りです。発信元はこの評価環境の提供者であり、n数や評価モデル名は開示されていません。
続きを読む →
UAEのTechnology Innovation Instituteが、エミラティ方言を扱う1,173問のベンチマーク「Alyah」で54モデルを評価しました。同じ問題セットで正答率は25.66%から82.18%まで開き、4択の偶然正解25%と区別できないモデルもありました。自社の言葉づかいで測る必要性を示す実例です。
続きを読む →
IBM Researchが公開したAssetOpsBenchは、産業設備の運用業務をAIエージェントに解かせるベンチマークです。最良のGPT-4.1でも計画68.2%・実行72.4%にとどまり、実運用可否の基準である85点に到達したモデルはゼロ。複数エージェントを連携させると47%まで落ちました。中小企業が自動化の範囲を決める材料になります。
続きを読む →
Hugging FaceとEvalEval Coalitionが、22,000超のモデル・2,200のベンチマークにまたがる229,000件の評価結果を1か所に集約しました。そこで露わになったのは、同一モデル・同一ベンチマークでもスコアが63.7と48.8に食い違うという事実です。ベンダー提示の点数をどう扱うべきかを整理します。
続きを読む →
Hugging Faceが自社ライブラリのリリース作業をAIで自動化し、4〜6週に1回だったリリースを毎週1回に、人手のレビューを数時間から約15分に短縮したと公表しました。1回あたりのAI利用コストは約0.25ドル。自社サービスの利用事例という利害関係も含めて、中小企業が持ち帰れる設計思想を整理します。
続きを読む →
PaddleOCRチームが公開したPP-OCRv6は、1.5M・7.7M・34.5Mの3構成で50言語に対応するOCRモデル群です。最大構成の検出Hmeanは86.2%、認識精度は83.2%と示されましたが、いずれも提供者自身の社内ベンチマークによる数字で、推論速度もライセンスも本文に記載がありません。読み方と検証の順番を整理します。
続きを読む →
Hugging Face公式ブログが、OpenClawリポジトリのPR・課題の仕分けをローカルの小型モデルで実施した結果を公開しました。330行の評価セットでF1 0.800、1件あたり1.41秒。巨大モデルはF1 0.811とほぼ同等ながら1件144秒。数字の出どころと限界も含めて読み解きます。
続きを読む →
ServiceNowが公開したMosaicLeaksは、社内文書を読んだAIリサーチエージェントが外部検索クエリに機密を混入させる度合いを測ったベンチマークです。素のモデルで漏洩率34.0%、「漏らすな」と指示しても25.5%、精度だけを追って学習させると51.7%に悪化しました。社内AI利用の線引きを考える材料になります。
続きを読む →
Hugging Faceが自社のPEFTライブラリで複数の追加学習手法を同一条件で比較しました。画像生成ではOFTがDINO類似度0.708／メモリ9.01GBとなり、LoRAの0.697／9.97GBを精度・メモリの両方で上回っています。一方で本番の推論基盤はLoRA形式しか読めない場合があり、勝つ手法と使える手法は一致しません。
続きを読む →
誰でも重みを入手できるオープンウェイトの大規模モデルGLM-5.2が、開発タスクの指標で商用最上位に1ポイント差まで迫ったと発表されました。ただしこれは提供元Z.AI自身による測定で、超長時間タスクでは13ポイント差の劣後も同時に報告されています。中小企業にとっての意味を数字ごとに整理します。
続きを読む →
Hugging Faceが自社プロダクトTrackioのCIをGitHub ActionsからHF Jobsへ移した結果、CPU実行で1分40秒が1分10秒（約30%短縮）、GPU実行で45秒・1回1セント未満と報告されました。ただし発信元は当該サービスの提供者であり、測定回数も期間も記載がありません。読み方を整理します。
続きを読む →
NVIDIAが公開したNemotron 3.5 Content Safetyは、AIの入出力が安全かどうかを判定する4Bパラメータの小型モデルです。多言語Aegisで有害判定F1が96.5%、日本語は明示的な訓練対象12言語に含まれます。ただし数値はすべて提供者本人の自己申告で、比較条件は非公開です。
続きを読む →
Hugging Faceが同一の18タスクを各10回、計約1,000回走らせて比較したところ、専用CLIを使ったエージェントの成功率は94%、汎用のAPI直叩きでは84%でした。トークン消費は最大6.0倍の差がつく一方、単発の読み取りでは専用化が不利になる線引きも示されています。
続きを読む →
IBM Researchが公開したエージェント評価基盤VAKRAは、8,000以上のAPIと62ドメインを模した環境で、推論チェーン3〜7ステップを要しうる課題を解かせるものです。ツール候補の多さ、手順の長さ、社内ルールの遵守という3条件で失敗が増える構造を、中小企業の設計判断に引き直して読み解きます。
続きを読む →
DPO（直接選好最適化）はチャット向けの手法という理解が一般的ですが、OCRという機械判定可能な業務で検証した結果、文字化けや無限ループといった出力崩れの発生率が平均59.4%、最良ケースで87.6%減ったという数字が出ています。ただし発信元は当該OCR製品の提供者であり、効果には3つの条件がつきます。
続きを読む →
H companyが公開したHolo3.1は、PC画面を見て操作するエージェントを0.8B〜35B-A3Bの複数サイズで提供し、モバイル操作精度は67%から79.3%へ改善したと報告しています。ただし発表は自社製品についての自社測定であり、最高性能でも約2割は失敗します。中小企業が今どこまで試せるかを整理します。
続きを読む →
METRが熟練OSS開発者16名・実課題246件をランダム割付で測ったところ、AI使用可の条件で完了時間は19%長くなりました。一方で開発者本人は終了後も20%速くなったと信じていました。中小企業が自己申告でROIを判断する危うさを、対象範囲の限界とあわせて整理します。
続きを読む →
METRが大規模OSS18課題でAIエージェントの成果物を測ったところ、人間が書いたテストによる自動採点は38%（±19%）だった一方、人間のレビュアーがそのままマージ可能と判断したPRは15件中0件でした。テストに通った4件でも修正見積りは平均26分。中小企業がAI開発ツールの投資対効果を試算するときに、何を工数に計上すべきかを整理します。
続きを読む →
中小機構が2026年3月に公表した実態調査（有効回答1,647社、2025年11月17日〜12月12日）を読み解きます。導入済み企業の82.6%が生成AI、製造・生産部門の導入率は34.9%。不足しているのは技術ではなく事例情報でした。分母と限界も含めて整理します。
続きを読む →
帝国データバンクが2026年3月に1万312社から回答を得た生成AI調査を読み解きます。活用率34.5%、大企業46.5%と小規模企業28.0%の差、活用企業の86.7%が効果を実感という数字の分母と限界を確認し、中小企業が明日から何を決めるべきかを整理します。
続きを読む →
東京商工リサーチが2026年4月に公表した6,327社アンケートで、中小企業の組織的な生成AI活用は32.3%、大企業は59.1%でした。「方針は決めていない」が中小で38.7%と最大勢力である一方、個人での利用は27.7%。会社の方針が現場に追いついていない構図を、経営者・情シスの判断材料として読み解きます。
続きを読む →
Uberが自社のGoコード解析ツールPerfInsightsの実測を公開しました。LLM単体では誤検知が8割超、複数モデルによる相互検証と人の確認を挟んで10%台前半へ。AIに検査業務を任せる際の現実的な設計指針と、そのまま真似てはいけない数字の線引きを整理します。
続きを読む →
Anthropicが自社のClaude CodeとAPIのログを分析し、AIエージェントにどこまで自動で任せているかを実測した。完全自動承認は新規ユーザーの約20%から習熟ユーザーの40%超へ倍増する一方、中断率も5%から約9%へ上がる。不可逆な操作は全体の0.8%。承認ポイントの設計に使える一次データを、偏りごと読む。
続きを読む →
IPAが2025年5月に公開した中小企業の情報セキュリティ実態調査（n=4,191）を読み解く。2023年度の1年間で被害を受けた企業は約2割強、復旧に要した期間は平均5.8日・最長360日。不正アクセスの手口の最多は脆弱性48.0%だった。数字の分母と調査の限界まで含めて、経営判断に使える形に整理する。
続きを読む →
IPAがDX推進指標の自己診断結果1,164件を分析した。現在値の平均は1.98、目標値の平均は3.51で差は1.53。レベル4以上に届いた企業は38社・3%にとどまる。任意提出という分母の偏りも含め、中小企業が自社の位置を測るための読み方を整理する。
続きを読む →
Cloudflareが自社ネットワークの観測値を公表した。クローラーリクエストのうちAI学習目的が2025年春の22%から2026年6月に52%へ。高頻度クロール分類では人間トラフィックが最大40%減。一方で参照流量の約88%は依然Google経由。母数と利害関係を分けて読む。
続きを読む →
Cloudflareが自社ネットワークを通るAIクローラを実測した。2025年7月時点で、Anthropicはクロール38,065.7ページに対し訪問1件、OpenAIは1,091.4対1、Googleは5.4対1。記事を出せば検索から人が来る、という前提が崩れつつある実態を、母集団の偏りごと読む。
続きを読む →
METRが2026年1月29日に公開したTime Horizon 1.1では、Claude Opus 4.5の「時間地平」が成功率50%で320分（95%CI 170-729分）と測定された。倍化期間は2024年以降のデータで89日。数字の読み方と、中小企業が導入計画をどう組み直すべきかを整理する。
続きを読む →
Anthropicが自社のResearch機能の構築記録を公開しました。複数のAIを並列で走らせる構成は社内評価で単一エージェントを90.2%上回った一方、トークン消費は通常のチャット利用の約15倍。中小企業がどの業務なら採算に乗るのか、限界の記述までたどって整理します。
続きを読む →