AIの鬼

実践記録

編集部が自社でAIを動かした記録。数字はそのまま載せています。

AI実践室 失敗の鬼 今週のAI AI検索観測所 AI仕事術
AI実践室

社内データにAIを「たどらせる」方式は、追加学習なしでどこまで当たるのか（Macro F1 66.29%／最難関40.83%）

知識グラフを段階的にたどらせてSPARQLを生成する手法MARSが、ファインチューニングなしで既存手法を上回った。ただし最高でもMacro F1は66.29%、最難関ベンチマークでは40.83%。社内DBへの自然文質問AIを検討する中小企業が、精度の天井をどう見積もり、どこに人を残すべきかを一次資料の数字から読む。

続きを読む →
AI実践室

AIの正解ラベルは100件で足りるのか？7,241件分の精度に到達した選び方と、9回中5回失敗した落とし穴

7,241件のデータプールからAI自身の不確実性で100件だけ選ぶと、全データ学習とほぼ同じ精度に届いた。一方で1回きりの微調整は9シード中5シードが物理的にありえない出力を学習し、検証スコアはそれを検知できなかった。ラベル作成コストに悩む中小企業が読むべき、選び方と止め方の設計を解説する。

続きを読む →
AI実践室

ベンチマークのモデル順位は、比べる相手が偏ると順位一致度0.60未満まで崩れるのか

人間のテスト理論である項目反応理論をAI評価に持ち込んだ18,000条件のシミュレーション研究。評価対象モデルの能力分布が偏ると順位再現度は0.60を割り、モデル数30では項目の難易度推定が0.50を下回った。一方で上位10%の項目だけでも順位再現は保てた。中小企業が「ベンチマーク上位」をどう読むかの材料として整理する。

続きを読む →
AI実践室

AIに文書チェックを任せるなら、1つのプロンプトで全部やらせるのと工程ごとに分けるのと、どちらが精度が出るのか？

論証エッセイの自動採点システムWrAFTは、採点・表層修正・深層コメントの3工程を分割し、それぞれ別のLLMと手法を割り当てた。採点はファインチューニングでRMSE 0.57→0.44に改善したが、深いコメントではファインチューニング版が出力欠落を起こし素のプロンプトに負けた。工程分割の実証データを中小企業の文書チェック業務に引き写して読む。

続きを読む →
AI実践室

帳票読み取りAIに「考えさせる」のは必要か？推論なしが0.411、推論ありが0.303だった検証

請求書や財務書類をAIに読ませるとき、推論（思考）ステップは本当に要るのか。4Bの小型モデルを追加学習した論文では、推論なしのF1が0.411、推論ありが0.303と逆転した。自社ドメイン内では汎用クラウドAIも上回る一方、未知の様式では負ける。中小企業の帳票業務にとって何を意味するかを整理する。

続きを読む →
AI実践室

AIエージェントは作業を完了しても、途中の安全ルールを守れているのか（507件の検証で安全遵守率0.16〜0.40）

VLMで動くエージェントを507件の課題で検証した研究では、易しい条件では成功率0.83〜0.94・安全遵守率最大0.91だったのに、物の上下や中身が絡む配置では成功率0.52〜0.73・安全遵守率0.16〜0.40まで落ちました。結果だけ見る検収では足りない理由を、中小企業の実務に置き換えて読み解きます。

続きを読む →
AI実践室

正解データなしでAIの採点基準は作れるか──質問1つから基準を育てて平均精度80.36%

AIの出力が良いか悪いかを判定する採点基準を、人間が正解例を用意せずに質問1つから自動生成する手法が報告されました。平均ペアワイズ判定精度は素朴な生成の73.45%に対して80.36%。中小企業がAIチェッカーを社内に入れる際の「判定基準づくり」の人件費に直結する話として読み解きます。

続きを読む →
AI実践室

AIに観点リストを渡すと精度は上がるのか？合成データで100.0%だったF1が実データで41.7%に落ちた検証

AIに「見るべき観点リスト」を与えると、自作の検証データでは検出率が20.0%から100.0%に跳ね上がりました。ところが同じ設定を実データに当てると、F1は41.7%まで落ち、観点リストなしの素のAI（61.5%）を下回りました。手元のテストで満点だから本番でも大丈夫、という判断がなぜ危険なのかを、論文の実測値で確認します。

続きを読む →
AI実践室

AIの判定スコアを揺らすだけで攻撃は防げるのか — 成功率100%が43〜59%に下がった実験

社外に公開したAI判定APIは、1万回の問い合わせで判定をすり抜ける入力を作られます。2026年7月公開の研究は、返す信頼度スコアをランダムに歪めるだけで攻撃成功率が100%から43〜59%に下がり、分類精度は0%低下だったと報告しました。ただしゼロにはなりません。

続きを読む →
AI実践室

AIエージェントは業務を何割まで自力で終わらせられるのか（1,431タスクで58.54%）

現実業務に近い1,431タスクを集めたベンチマーク「OmniaBench」で、最高性能クラスのモデルの1回目成功率は58.54%だった。おおよそ2回に1回は失敗する水準であり、中小企業が受発注や見積をエージェントに丸投げする段階ではない。ただし工程の切り出し方次第で実用域は確かに存在する。

続きを読む →
AI実践室

AIに社内資料を読ませて文書を作らせると、何％が出典の辿れない創作になるのか — 2,629点の来歴監査

公式文書を与えたうえでAIに合意文書を作らせ、生成物1点ずつの出どころを監査した研究があります。原典に直接遡れたのは43.7%、一切遡れない創作が22.1%、仕組み由来のゴミが6.8%。AIに社内資料を読ませて提案書や議事録を作らせる運用に、そのまま効く数字です。

続きを読む →
AI実践室

本物の顔写真を使わずに、顔認証システムの優劣は比較できるのか（合成データ12件×モデル24本の検証）

ルクセンブルク大学らの研究が、AI生成の合成顔データセット12件と実データのベンチマーク7件を、学習済みモデル24本で突き合わせた。上位の合成データは実データとの相関が平均0.90に達する一方、最下位は-0.52まで落ちる。顔写真を集めずにベンダー比較ができる条件と、鵜呑みにしてはいけない境界を整理する。

続きを読む →
AI実践室

推薦モデルは再学習なしで更新できるか？　データ1.8%でRMSE0.810という実測

推薦システムを再学習せずに新しい行動データだけで更新する手法を公開した。データの1.8%しか読まずにRMSE0.810、更新は1バッチ90ms、CPU単体で動く。一方で大規模カタログではアイテムカバレッジ1%未満まで落ちる限界も報告されている。中小ECにとって何を意味するかを整理する。

続きを読む →
AI実践室

環境が変わるとAIの精度は33.26%まで落ちるのか — 医療画像研究が示す「持ち込んだ途端に壊れる」現象

学習した環境と違う条件にAIを持ち込むと精度は崩れます。2026年7月公開の医療画像研究では、造影CTで学習した手法を非造影CTに当てただけで精度が33.26%まで低下しました。デモでは高精度だったAIが自社では動かない、という現象の正体と、稟議での評価のさせ方を整理します。

続きを読む →
AI実践室

パラメータ2.8Mで48GB GPU級の予測精度は出せるのか──時系列知識グラフ研究GAttNHPが示した数字

「次に何が、いつ起こるか」を予測する新手法GAttNHPが、パラメータ2.8M・GPUメモリ2.54GBという構成で、88M〜107Mパラメータ・GPU 48GBを要する従来最良手法をMRRで8.25ポイント上回りました。低頻度データほど改善が大きいという結果を、中小企業の予測案件にどう読み替えるかを整理します。

続きを読む →
AI実践室

小型AIに推論力を教え込めるか — 100ステップの追加学習で数学スコアが45.8→70.3になった実験

自社で動かせる小型モデルに「考える力」を後から足せるのか。2026年7月公開の研究は、教師モデルの出力をそのまま真似させるのではなく、教師とその土台モデルの差分だけを学ばせる方法を14ベンチマークで実測しました。伸びた数字と、伸びなかった条件を整理します。

続きを読む →
AI実践室

素のAIエージェントが20件全滅、手順書と検算を足したら70件中63件が専門家一致——差はどこで生まれたのか

研究チームが、格子QCDという専門的な科学計算のコード生成をAIエージェントに任せた結果を公開した。汎用のコーディングエージェントは基本タスク20件すべてに失敗し、業務知識・固定処理・人間の確認を組み込んだ構成は70件中63件で専門家と機械精度一致。差がどこで生まれたかを中小企業の実務に翻訳する。

続きを読む →
AI実践室

採点の仕組みが作れない業務でも、AIを自社向けに鍛えられるのか？　1本52分・3ドル未満の実測

自動採点の仕組みが用意できない業務でも、指示と正解の組だけで推論AIモデルを自社向けに調整できるか。研究チームは、GPU1枚・平均52分・1件あたり3米ドル未満で調整を終え、Rustコード生成で平均+7.0ポイントの向上と推論能力の維持を同時に達成したと報告しました。中小企業にとっての意味を整理します。

続きを読む →
AI実践室

学習データを71%捨てても精度は落ちないのか？場所認識AIの実測で見る「データ選別」の費用対効果

AIの精度はデータ量で決まる、という前提を疑う実測が出ました。画像による場所認識AIの学習で、データを71%削減しても精度は維持され、総学習時間は19.152時間から4.825時間へ74.8%削減。データを増やす前に選別する工程を挟む、という予算配分の話として読めます。ただし対象は特定タスクに限られます。

続きを読む →
AI実践室

AIの評価軸を「正答率」から「越えてはいけない線」に変えられるか——医療AI検査ベンチマーク100件の設計

臨床医1名が作った医療AI安全性ベンチマーク「MedFailBench」は、合成症例100件を6種類の失敗ゲートと5段階の重大度で分類した。正解率ではなく「どの安全境界が破られたか」で測る設計思想は、中小企業の社内AI評価表にそのまま応用できる。ただし実験規模は極端に小さく、論文自身が限界を並べている。

続きを読む →
AI実践室

検索精度スコアは、AIエージェントの正解率を予測できるのか（相関ρ=-0.0257）

複数ステップで自律検索するAIエージェントを対象に、従来の検索有用性スコアと、実際に正解へ効いた度合いの相関を測った研究。23,322件の文書観測で相関はρ=-0.0257とほぼ無相関、単体では答えを含まないのに削除すると結果が変わる「橋渡し文書」が35.72%を占めた。社内文書検索の評価の見方に直結する話です。

続きを読む →
AI実践室

ディープフェイク検出AIは、中身を知らない攻撃者にどこまですり抜けられるのか（攻撃成功率0.443）

通常時は96.62〜98.73%の精度で判定するディープフェイク検出AIが、モデルの中身を一切知らないブラックボックス攻撃で最大0.443の確率ですり抜けられた、という研究が公開されました。中小企業にとっての結論は「検出AIを本人確認の最終判断に使わない」の一点です。数字の範囲と、研究自身が認めた限界まで含めて読み解きます。

続きを読む →
AI実践室

大きいモデルほど早く力尽きるのか？ 5体のAIを「エネルギー経済」に置いた実験で最大モデルが平均5.2ラウンドで停止

トークン生成に「エネルギー」の値段をつけ、ゼロになったら停止する環境に5体のLLMエージェントを置いた研究です。最大モデルは平均5.2ラウンドで停止し、小型モデルは30ラウンド全生存。議論と記憶を外したときの劣化も含めて、中小企業のAI運用設計に何が読めるかを整理します。

続きを読む →
AI実践室

音声AIは「総合点1位」で選べるのか（7次元すべてで上位5位に入った製品はゼロ）

音声AIを7つの能力次元で実測したベンチマークで、全次元で上位5位に入ったシステムは1つもありませんでした。読み上げ・対話・聞き取りで選ぶべき製品は変わります。訛りへの弱さは製品間で+2.15ptから+8.04ptまで開き、感情の絶対識別は最高22.7%にとどまります。中小企業の選定基準を整理します。

続きを読む →
AI実践室

画像生成AIが「毛の生えたタコ」を描けないのはプロンプトが下手だからか — LLM評価80.0→93.0が示す構造的な原因

指示した珍しい特徴を無視して無難な絵しか出てこないのは、担当者のプロンプト力ではなくモデル側の常識バイアスが原因です。2026年7月公開の研究は、因果推論の考え方でプロンプトの純粋な効果だけを取り出し、LLM評価を80.0から93.0へ改善しました。再学習なしで推論時の設定だけで済む点と、その限界を整理します。

続きを読む →