FACTS Benchmark Suite、大規模言語モデルの事実性を体系的に評価
FACTS Benchmark Suiteを用いて、大規模言語モデルの事実性を体系的に評価する。
出典: Google DeepMind（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Google DeepMindで元記事を読む →
編集部の実践記録から
AI解体新書
素のAIエージェントが20件全滅、手順書と検算を足したら70件中63件が専門家一致——差はどこで生まれたのか
研究チームが、格子QCDという専門的な科学計算のコード生成をAIエージェントに任せた結果を公開した。汎用のコーディングエージェントは基本タスク20件すべてに失敗し、業務知識・固定処理・人間の確認を組み込んだ構成は70件中63件で専門家と機械精度一致。差がどこで生まれたかを中小企業の実務に翻訳する。
続きを読む →
AI解体新書
採点の仕組みが作れない業務でも、AIを自社向けに鍛えられるのか？ 1本52分・3ドル未満の実測
自動採点の仕組みが用意できない業務でも、指示と正解の組だけで推論AIモデルを自社向けに調整できるか。研究チームは、GPU1枚・平均52分・1件あたり3米ドル未満で調整を終え、Rustコード生成で平均+7.0ポイントの向上と推論能力の維持を同時に達成したと報告しました。中小企業にとっての意味を整理します。
続きを読む →
AI解体新書
学習データを71%捨てても精度は落ちないのか？場所認識AIの実測で見る「データ選別」の費用対効果
AIの精度はデータ量で決まる、という前提を疑う実測が出ました。画像による場所認識AIの学習で、データを71%削減しても精度は維持され、総学習時間は19.152時間から4.825時間へ74.8%削減。データを増やす前に選別する工程を挟む、という予算配分の話として読めます。ただし対象は特定タスクに限られます。
続きを読む →