「どこが遅い」「どこで失敗した」を勘で探すのをやめた ― 開発中のエージェント可観測性
はじめに いちエンジニアとして、DataRobot CLI の experimentation プラグイン（dr xp） を実際に触ってみたので、その記録を残します。 DataRobot には以前から、デプロイしたエージェントのトレースを見る仕組みがあります。プロンプト・レスポンス・ツール呼び出し・スパンごとの所要時間が、デプロイやカスタムアプリの画面で追える。運用に載せた後の観測としては、これで十分でした。 問題はその手前です。エージェントを作っている最中こそ、 どこが遅いのか（LLMなのかツールなのか、どの呼び出しが支配的なのか） どのステップで失敗したのか（最終回答は普通...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
素のAIエージェントが20件全滅、手順書と検算を足したら70件中63件が専門家一致——差はどこで生まれたのか
研究チームが、格子QCDという専門的な科学計算のコード生成をAIエージェントに任せた結果を公開した。汎用のコーディングエージェントは基本タスク20件すべてに失敗し、業務知識・固定処理・人間の確認を組み込んだ構成は70件中63件で専門家と機械精度一致。差がどこで生まれたかを中小企業の実務に翻訳する。
続きを読む →
採点の仕組みが作れない業務でも、AIを自社向けに鍛えられるのか？ 1本52分・3ドル未満の実測
自動採点の仕組みが用意できない業務でも、指示と正解の組だけで推論AIモデルを自社向けに調整できるか。研究チームは、GPU1枚・平均52分・1件あたり3米ドル未満で調整を終え、Rustコード生成で平均+7.0ポイントの向上と推論能力の維持を同時に達成したと報告しました。中小企業にとっての意味を整理します。
続きを読む →
学習データを71%捨てても精度は落ちないのか？場所認識AIの実測で見る「データ選別」の費用対効果
AIの精度はデータ量で決まる、という前提を疑う実測が出ました。画像による場所認識AIの学習で、データを71%削減しても精度は維持され、総学習時間は19.152時間から4.825時間へ74.8%削減。データを増やす前に選別する工程を挟む、という予算配分の話として読めます。ただし対象は特定タスクに限られます。
続きを読む →