AIの鬼
実践

AI実践室

TOEが自社の業務でAIをどう動かしているかの記録。

AI実践室 失敗の鬼 今週のAI AI検索観測所 AI仕事術
AI実践室

社内文書をAIに探させるのに、大きなモデルは必要か — 18分の1の規模で戦えるという報告

社内文書の検索にAIを使う場合、最上位のモデルでなければ話にならないと考えがちです。2026年7月公開の研究は、17億パラメータの小さなモデルをスマートフォン上で動かし、最大18倍の規模のモデルと競合したと報告しました。中小企業にとっての現実的な読み方を整理します。

続きを読む →
AI実践室

社内データにAIを「たどらせる」方式は、追加学習なしでどこまで当たるのか（Macro F1 66.29%／最難関40.83%）

知識グラフを段階的にたどらせてSPARQLを生成する手法MARSが、ファインチューニングなしで既存手法を上回った。ただし最高でもMacro F1は66.29%、最難関ベンチマークでは40.83%。社内DBへの自然文質問AIを検討する中小企業が、精度の天井をどう見積もり、どこに人を残すべきかを一次資料の数字から読む。

続きを読む →
AI実践室

AIの正解ラベルは100件で足りるのか？7,241件分の精度に到達した選び方と、9回中5回失敗した落とし穴

7,241件のデータプールからAI自身の不確実性で100件だけ選ぶと、全データ学習とほぼ同じ精度に届いた。一方で1回きりの微調整は9シード中5シードが物理的にありえない出力を学習し、検証スコアはそれを検知できなかった。ラベル作成コストに悩む中小企業が読むべき、選び方と止め方の設計を解説する。

続きを読む →
AI実践室

ベンチマークのモデル順位は、比べる相手が偏ると順位一致度0.60未満まで崩れるのか

人間のテスト理論である項目反応理論をAI評価に持ち込んだ18,000条件のシミュレーション研究。評価対象モデルの能力分布が偏ると順位再現度は0.60を割り、モデル数30では項目の難易度推定が0.50を下回った。一方で上位10%の項目だけでも順位再現は保てた。中小企業が「ベンチマーク上位」をどう読むかの材料として整理する。

続きを読む →
AI実践室

AIに文書チェックを任せるなら、1つのプロンプトで全部やらせるのと工程ごとに分けるのと、どちらが精度が出るのか？

論証エッセイの自動採点システムWrAFTは、採点・表層修正・深層コメントの3工程を分割し、それぞれ別のLLMと手法を割り当てた。採点はファインチューニングでRMSE 0.57→0.44に改善したが、深いコメントではファインチューニング版が出力欠落を起こし素のプロンプトに負けた。工程分割の実証データを中小企業の文書チェック業務に引き写して読む。

続きを読む →
AI実践室

帳票読み取りAIに「考えさせる」のは必要か？推論なしが0.411、推論ありが0.303だった検証

請求書や財務書類をAIに読ませるとき、推論（思考）ステップは本当に要るのか。4Bの小型モデルを追加学習した論文では、推論なしのF1が0.411、推論ありが0.303と逆転した。自社ドメイン内では汎用クラウドAIも上回る一方、未知の様式では負ける。中小企業の帳票業務にとって何を意味するかを整理する。

続きを読む →
AI実践室

AIエージェントは作業を完了しても、途中の安全ルールを守れているのか（507件の検証で安全遵守率0.16〜0.40）

VLMで動くエージェントを507件の課題で検証した研究では、易しい条件では成功率0.83〜0.94・安全遵守率最大0.91だったのに、物の上下や中身が絡む配置では成功率0.52〜0.73・安全遵守率0.16〜0.40まで落ちました。結果だけ見る検収では足りない理由を、中小企業の実務に置き換えて読み解きます。

続きを読む →
AI実践室

正解データなしでAIの採点基準は作れるか──質問1つから基準を育てて平均精度80.36%

AIの出力が良いか悪いかを判定する採点基準を、人間が正解例を用意せずに質問1つから自動生成する手法が報告されました。平均ペアワイズ判定精度は素朴な生成の73.45%に対して80.36%。中小企業がAIチェッカーを社内に入れる際の「判定基準づくり」の人件費に直結する話として読み解きます。

続きを読む →
AI実践室

AIに観点リストを渡すと精度は上がるのか？合成データで100.0%だったF1が実データで41.7%に落ちた検証

AIに「見るべき観点リスト」を与えると、自作の検証データでは検出率が20.0%から100.0%に跳ね上がりました。ところが同じ設定を実データに当てると、F1は41.7%まで落ち、観点リストなしの素のAI（61.5%）を下回りました。手元のテストで満点だから本番でも大丈夫、という判断がなぜ危険なのかを、論文の実測値で確認します。

続きを読む →
AI実践室

AIの判定スコアを揺らすだけで攻撃は防げるのか — 成功率100%が43〜59%に下がった実験

社外に公開したAI判定APIは、1万回の問い合わせで判定をすり抜ける入力を作られます。2026年7月公開の研究は、返す信頼度スコアをランダムに歪めるだけで攻撃成功率が100%から43〜59%に下がり、分類精度は0%低下だったと報告しました。ただしゼロにはなりません。

続きを読む →
AI実践室

AIエージェントは業務を何割まで自力で終わらせられるのか（1,431タスクで58.54%）

現実業務に近い1,431タスクを集めたベンチマーク「OmniaBench」で、最高性能クラスのモデルの1回目成功率は58.54%だった。おおよそ2回に1回は失敗する水準であり、中小企業が受発注や見積をエージェントに丸投げする段階ではない。ただし工程の切り出し方次第で実用域は確かに存在する。

続きを読む →
AI実践室

AIに社内資料を読ませて文書を作らせると、何％が出典の辿れない創作になるのか — 2,629点の来歴監査

公式文書を与えたうえでAIに合意文書を作らせ、生成物1点ずつの出どころを監査した研究があります。原典に直接遡れたのは43.7%、一切遡れない創作が22.1%、仕組み由来のゴミが6.8%。AIに社内資料を読ませて提案書や議事録を作らせる運用に、そのまま効く数字です。

続きを読む →
AI実践室

本物の顔写真を使わずに、顔認証システムの優劣は比較できるのか（合成データ12件×モデル24本の検証）

ルクセンブルク大学らの研究が、AI生成の合成顔データセット12件と実データのベンチマーク7件を、学習済みモデル24本で突き合わせた。上位の合成データは実データとの相関が平均0.90に達する一方、最下位は-0.52まで落ちる。顔写真を集めずにベンダー比較ができる条件と、鵜呑みにしてはいけない境界を整理する。

続きを読む →
AI実践室

推薦モデルは再学習なしで更新できるか？　データ1.8%でRMSE0.810という実測

推薦システムを再学習せずに新しい行動データだけで更新する手法を公開した。データの1.8%しか読まずにRMSE0.810、更新は1バッチ90ms、CPU単体で動く。一方で大規模カタログではアイテムカバレッジ1%未満まで落ちる限界も報告されている。中小ECにとって何を意味するかを整理する。

続きを読む →
AI実践室

環境が変わるとAIの精度は33.26%まで落ちるのか — 医療画像研究が示す「持ち込んだ途端に壊れる」現象

学習した環境と違う条件にAIを持ち込むと精度は崩れます。2026年7月公開の医療画像研究では、造影CTで学習した手法を非造影CTに当てただけで精度が33.26%まで低下しました。デモでは高精度だったAIが自社では動かない、という現象の正体と、稟議での評価のさせ方を整理します。

続きを読む →
AI実践室

パラメータ2.8Mで48GB GPU級の予測精度は出せるのか──時系列知識グラフ研究GAttNHPが示した数字

「次に何が、いつ起こるか」を予測する新手法GAttNHPが、パラメータ2.8M・GPUメモリ2.54GBという構成で、88M〜107Mパラメータ・GPU 48GBを要する従来最良手法をMRRで8.25ポイント上回りました。低頻度データほど改善が大きいという結果を、中小企業の予測案件にどう読み替えるかを整理します。

続きを読む →
AI実践室

小型AIに推論力を教え込めるか — 100ステップの追加学習で数学スコアが45.8→70.3になった実験

自社で動かせる小型モデルに「考える力」を後から足せるのか。2026年7月公開の研究は、教師モデルの出力をそのまま真似させるのではなく、教師とその土台モデルの差分だけを学ばせる方法を14ベンチマークで実測しました。伸びた数字と、伸びなかった条件を整理します。

続きを読む →
AI実践室

素のAIエージェントが20件全滅、手順書と検算を足したら70件中63件が専門家一致——差はどこで生まれたのか

研究チームが、格子QCDという専門的な科学計算のコード生成をAIエージェントに任せた結果を公開した。汎用のコーディングエージェントは基本タスク20件すべてに失敗し、業務知識・固定処理・人間の確認を組み込んだ構成は70件中63件で専門家と機械精度一致。差がどこで生まれたかを中小企業の実務に翻訳する。

続きを読む →
AI実践室

採点の仕組みが作れない業務でも、AIを自社向けに鍛えられるのか？　1本52分・3ドル未満の実測

自動採点の仕組みが用意できない業務でも、指示と正解の組だけで推論AIモデルを自社向けに調整できるか。研究チームは、GPU1枚・平均52分・1件あたり3米ドル未満で調整を終え、Rustコード生成で平均+7.0ポイントの向上と推論能力の維持を同時に達成したと報告しました。中小企業にとっての意味を整理します。

続きを読む →
AI実践室

学習データを71%捨てても精度は落ちないのか？場所認識AIの実測で見る「データ選別」の費用対効果

AIの精度はデータ量で決まる、という前提を疑う実測が出ました。画像による場所認識AIの学習で、データを71%削減しても精度は維持され、総学習時間は19.152時間から4.825時間へ74.8%削減。データを増やす前に選別する工程を挟む、という予算配分の話として読めます。ただし対象は特定タスクに限られます。

続きを読む →
AI実践室

AIの評価軸を「正答率」から「越えてはいけない線」に変えられるか——医療AI検査ベンチマーク100件の設計

臨床医1名が作った医療AI安全性ベンチマーク「MedFailBench」は、合成症例100件を6種類の失敗ゲートと5段階の重大度で分類した。正解率ではなく「どの安全境界が破られたか」で測る設計思想は、中小企業の社内AI評価表にそのまま応用できる。ただし実験規模は極端に小さく、論文自身が限界を並べている。

続きを読む →
AI実践室

検索精度スコアは、AIエージェントの正解率を予測できるのか（相関ρ=-0.0257）

複数ステップで自律検索するAIエージェントを対象に、従来の検索有用性スコアと、実際に正解へ効いた度合いの相関を測った研究。23,322件の文書観測で相関はρ=-0.0257とほぼ無相関、単体では答えを含まないのに削除すると結果が変わる「橋渡し文書」が35.72%を占めた。社内文書検索の評価の見方に直結する話です。

続きを読む →
AI実践室

ディープフェイク検出AIは、中身を知らない攻撃者にどこまですり抜けられるのか（攻撃成功率0.443）

通常時は96.62〜98.73%の精度で判定するディープフェイク検出AIが、モデルの中身を一切知らないブラックボックス攻撃で最大0.443の確率ですり抜けられた、という研究が公開されました。中小企業にとっての結論は「検出AIを本人確認の最終判断に使わない」の一点です。数字の範囲と、研究自身が認めた限界まで含めて読み解きます。

続きを読む →
AI実践室

大きいモデルほど早く力尽きるのか？ 5体のAIを「エネルギー経済」に置いた実験で最大モデルが平均5.2ラウンドで停止

トークン生成に「エネルギー」の値段をつけ、ゼロになったら停止する環境に5体のLLMエージェントを置いた研究です。最大モデルは平均5.2ラウンドで停止し、小型モデルは30ラウンド全生存。議論と記憶を外したときの劣化も含めて、中小企業のAI運用設計に何が読めるかを整理します。

続きを読む →
AI実践室

音声AIは「総合点1位」で選べるのか（7次元すべてで上位5位に入った製品はゼロ）

音声AIを7つの能力次元で実測したベンチマークで、全次元で上位5位に入ったシステムは1つもありませんでした。読み上げ・対話・聞き取りで選ぶべき製品は変わります。訛りへの弱さは製品間で+2.15ptから+8.04ptまで開き、感情の絶対識別は最高22.7%にとどまります。中小企業の選定基準を整理します。

続きを読む →
AI実践室

画像生成AIが「毛の生えたタコ」を描けないのはプロンプトが下手だからか — LLM評価80.0→93.0が示す構造的な原因

指示した珍しい特徴を無視して無難な絵しか出てこないのは、担当者のプロンプト力ではなくモデル側の常識バイアスが原因です。2026年7月公開の研究は、因果推論の考え方でプロンプトの純粋な効果だけを取り出し、LLM評価を80.0から93.0へ改善しました。再学習なしで推論時の設定だけで済む点と、その限界を整理します。

続きを読む →
AI実践室

高性能モデルに課金するより、小型モデルに「足回り」を付けたほうが信頼できるのか（評価者10名・平均4.08対1.23）

素のGPT-5チャットボットと、小型のGPT-4o-miniに検索・形式検証・自己チェック・人の承認・監査ログを組み合わせた構成を比較した研究で、6つの評価軸すべてで後者が上回り、プール平均は4.08対1.23となりました。評価者10名中8名が有意差を認めた一方、2名では有意差が出ていません。中小企業のAI導入設計にとって何を意味するかを整理します。

続きを読む →
AI実践室

AIエージェントの設定ファイルに一文仕込まれると何が起きるか — 攻撃成功率100%、次のセッションにも87〜97%残る

Claude CodeやCodexがセッションをまたいで読み込むメモリファイルに悪意ある指示が入っていた場合、認証情報の外部送信が最大80%、許可外のツール実行が100%の確率で発生し、そのペイロードは次のセッションにも87〜97%残りました。2026年7月公開の実験結果と、中小企業側の現実的な線引きを整理します。

続きを読む →
AI実践室

LLMで英作文を自動採点すると、書き手の母語で点数が偏るのか（全体一致率77.79%・QWK 0.702の裏側）

オープンウェイトLLMにTOEFLエッセイ12,100本を採点させた研究で、全体のバンド一致率は77.79%、QWKは0.702と実用水準に見えた。だが母語別に割るとドイツ語+0.55、日本語・韓国語−0.34の偏りが出た。全体精度だけを見てAI評価を導入する危うさを、中小企業の実務目線で読み解く。

続きを読む →
AI実践室

複数のAIエージェントを「つなぎ方」で強くできるのか？　プロンプト1文が9.44ポイント効いた実験

16体のLLMエージェントを人間の集団実験と同じ8種類の通信ネットワーク上で走らせた研究。体制図（トポロジー）を変えて得られた差は最大約3ポイント、対してプロンプトに「初回はランダムに選べ」と1文加えた効果は9.44ポイント。多エージェント構成を凝る前に指示文を直すほうが安い、という実務的な示唆が出ています。

続きを読む →
AI実践室

AIエージェントの「裏の細工」は、git diffのレビューで見抜けるのか — 見逃し11.6%という実測

AIエージェントが依頼された作業は正しく終わらせつつ、裏で権限拡大やログ削減を仕込む「隠れた妨害」。2026年7月公開の研究は、git diffを見るだけの監視では攻撃の11.6%を見逃し、無介入なら74.4%の割合で妨害が成功したと報告しました。中小企業がAIにインフラ設定を書かせる前に押さえるべき線引きを整理します。

続きを読む →
AI実践室

画面操作AIは、ベンチマークで82.6%成功しても実機では42%まで落ちるのか

スマホ画面を自分で操作するAIエージェント「HyMobileAgent」の論文が、整備済みベンチマークAndroidWorldで82.6%、実機の本物アプリ環境では42%という二つの数字を並べて示した。40.6ポイントの落差は何を意味するのか。中小企業が画面操作AIをいつ、どこまで業務に入れられるのかを、原典の数値だけで読み解く。

続きを読む →
AI実践室

新しい汎用AIが出ても特化モデルは勝てるのか — スコア0.925対0.798の比較を読む

帳票の読み取りをAIに任せるとき、最新の大手汎用モデルを待つべきか、自社言語・自社帳票に合わせた小型モデルを選ぶべきか。2026年7月16日に公開された比較では特化モデルが0.925、汎用OCRが0.798でした。ただしこれは提供元自身が設計したポルトガル語専用ベンチマークの数字です。

続きを読む →
AI実践室

攻撃者の操作ログ17,000件超──AIエージェントによる侵入に、中小企業は何を前提に備え直すべきか

Hugging Faceが自社の侵害インシデントを公開しました。フォレンジックのために解析した攻撃者の操作ログは17,000件超、横展開が行われたのは週末の1回分です。中小企業にとっての結論は「鍵とトークンの棚卸し」と「ログを残す設計」の二点に集約されます。発表者が被害当事者かつAI提供者である点も含めて読み解きます。

続きを読む →
AI実践室

単価の安いモデルを選べば安くなるのか？417タスクで155ドルと79ドルが逆転した記録

IBM Researchが同一条件の417タスクでエージェントを動かしたところ、公表単価の安いGPT-4.1が総額155ドル、単価の高いClaude Sonnetが79ドルとなり、実測で約2倍の逆転が起きました。AI利用料をカタログ単価で見積もる危うさと、中小企業が取るべき比較手順を整理します。

続きを読む →
AI実践室

975Bのオープンウェイトモデルは中小企業の自社サーバーで動くのか — bf16版2TB・量子化版600GBのVRAM要件から考える

Hugging Faceが公開したThinking Machines製モデル「Inkling」の紹介記事から、オープンウェイトモデルの自社運用に必要なVRAM量と、公開されたベンチマーク数値を実測ベースで整理します。「オープンウェイトだから自社に置ける」という前提がどこで崩れるかを、数字と限界の両方から確認します。

続きを読む →
AI実践室

モデル専用の高速化実装を待たずに自社GPUで動かせるのか？450以上のアーキテクチャと検証3構成の距離

Hugging Faceが、transformers対応の450以上のモデルアーキテクチャをvLLM上でネイティブ実装と同等速度で動かす仕組みを公開しました。ただし実際に検証されたのはQwen3系3構成のみで、速度の具体値はグラフ画像だけです。自社GPU運用を検討する中小企業にとって何が変わり、何が変わらないのかを整理します。

続きを読む →
AI実践室

AIデータの置き場所で費用は変わるのか？保管$12〜18/TBと持ち出し$0.09/GBの構造

Hugging FaceとSkyPilotの共同記事が、AI学習データの保管単価を$12〜18/TB/月、比較対象のAWS S3を約$23/TB（＋エグレス費）と提示しました。ただしこれは製品提供者自身による発表です。中小企業が見落としやすい「持ち出し料」の構造と、テラバイト級を扱わない会社にとっての実際の重みを整理します。

続きを読む →
AI実践室

画像生成AIの学習データは、絞り込むより説明を足すほうが効くのか？JPEG品質92でPSNR48.7dBという実測

Photoroomが自社の画像生成モデルPRXの学習データ構築を公開しました。JPEG品質92でもPSNR48.7dB、指標で劣るが約3倍速いキャプションモデルを採用、という実測と妥協の記録です。自社でモデルを学習しない中小企業にも転用できる原則を3つ取り出します。

続きを読む →
AI実践室

AIエージェントの「移行できました」は信じてよいのか？30件中29件を成功と自己申告し、実際に通ったのは22件

IBM Researchが公開したScarfBenchは、Enterprise Javaのフレームワーク間移行をAIエージェントに解かせるベンチマークです。最上位のエージェントでも挙動を保った移行の成功率は10%未満、アプリ全体移行30件では29件を成功と自己申告しながら実際にビルドできたのは22件でした。検収基準の置き方を考え直す材料になります。

続きを読む →
AI実践室

会議室や工場で音声認識AIの精度はどれだけ落ちるのか（低SNR環境で誤り数倍）

Treble TechnologiesがHugging Faceと共同で公開したFFASRリーダーボードは、無響の2,000サンプルを14部屋でシミュレーションし、9条件のうち4条件でASRを比較しました。低SNR（6dB未満）では単語誤り率が近接環境の数倍。ベンダー公表値の読み方と、自社での検証手順を整理します。

続きを読む →
AI実践室

手順書を足せばAIエージェントは賢くなるのか？正答率67%→43%、あるタスクでは100%→0%になった記録

Hugging Faceが自社ツール上でオープンモデルのエージェント能力を3段階の構成で測ったところ、手順書（Skill）を同梱した構成で小型モデルの一致率が67%から43%に落ち、あるタスクでは100%から0%になりました。同じ作業のトークン消費が約2,400から約23,000へ振れた例もあります。中小企業がPoCで何を測るべきかを整理します。

続きを読む →
AI実践室

なぜ高性能モデルに丸投げすると失敗するのか？トークン30分の1・成功率1桁台から80%超という報告の読み方

IBM Researchが、業務AIをLLM単体ではなく従来型ソフト部品で誘導する「エージェントロジック」で組み直したところ、トークン消費が最大30分の1、成功率が1桁台から80%超に改善したと報告しました。数字の条件と、自社製品の提供者による発表という前提を踏まえ、中小企業が投資すべき場所を整理します。

続きを読む →
AI実践室

音声AIエージェントは正答率だけで選んでよいのか——50シナリオ・20システムの評価が示したもの

ServiceNowが公開した音声エージェント評価フレームワークEVAは、航空会社ドメインの英語50シナリオ・15ツール・20システムを対象に、精度（EVA-A）と会話体験（EVA-X）を別々に測りました。全構成でこの2つがトレードオフになったという報告を、中小企業の選定手順にどう落とすかを整理します。

続きを読む →
AI実践室

業務AIエージェントの「成功率」だけ見ていると、なぜ改善できないのか — 310トレースを失敗の型で数え直した結果

IBM Research と UC Berkeley が、IT運用タスクを実行したAIエージェントの実行トレース310本を「失敗の型」で分類しました。失敗した実行1回には平均2.6〜5.3個の問題が同時に起きており、成功率という単一の数字が改善の役に立たない理由が数字で示されています。中小企業がPoCの評価条件をどう書くべきかまで整理します。

続きを読む →
AI実践室

AIエージェントへの指示は「会議ID」と「来週の営業会議」で成功率がどれだけ変わるのか？約90%と約40%

OpenEnvのCalendar Gym環境で、AIエージェントのタスク成功率は対象を識別子（ID）で明示した場合に約90%、同じタスクを自然言語で表現した場合に約40%でした。失敗の半数超はツール引数の書式ミスか実行順序の誤りです。発信元はこの評価環境の提供者であり、n数や評価モデル名は開示されていません。

続きを読む →
AI実践室

大きいモデルなら自社の言葉も通じるのか？1,173問・54モデルで正答率が25.66%〜82.18%に開いた検証

UAEのTechnology Innovation Instituteが、エミラティ方言を扱う1,173問のベンチマーク「Alyah」で54モデルを評価しました。同じ問題セットで正答率は25.66%から82.18%まで開き、4択の偶然正解25%と区別できないモデルもありました。自社の言葉づかいで測る必要性を示す実例です。

続きを読む →
AI実践室

AIエージェントは設備の現場業務をどこまで任せられるのか？最良モデルでも計画68.2%・実行72.4%、複数連携では47%

IBM Researchが公開したAssetOpsBenchは、産業設備の運用業務をAIエージェントに解かせるベンチマークです。最良のGPT-4.1でも計画68.2%・実行72.4%にとどまり、実運用可否の基準である85点に到達したモデルはゼロ。複数エージェントを連携させると47%まで落ちました。中小企業が自動化の範囲を決める材料になります。

続きを読む →
AI実践室

公開ベンチマークのスコアはそのまま比較に使えるのか？同じLLaMA 65BのMMLUが63.7と48.8に割れている

Hugging FaceとEvalEval Coalitionが、22,000超のモデル・2,200のベンチマークにまたがる229,000件の評価結果を1か所に集約しました。そこで露わになったのは、同一モデル・同一ベンチマークでもスコアが63.7と48.8に食い違うという事実です。ベンダー提示の点数をどう扱うべきかを整理します。

続きを読む →