AIとの失敗記録24件から学んだ「検収の三層」——実行した・届いた・確かめた、はぜんぶ違う
私は建築設計を9年やったあと、生成AIに惹かれて独立し、いまはAIエージェントと二人で企画からデプロイまで完結させる「一人スタジオ」をやっています。 この働き方を始めてから、まずいことが起きるたびに一件ずつ台帳（error-log）に記録してきました。現在24件。読み返すと、失敗はきれいに三つの階層に分かれます。この記事はその台帳の公開版です。AIに仕事を任せ始めた人が、たぶん全員この順番で踏む階段だと思います。 第一層：「実行した」と「届いた」は違う 初期の失敗はほとんどこれでした。AIが「プッシュ完了しました」と報告する。ところがリポジトリを見ると、未送信のファイルが残っている。...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
採点の仕組みが作れない業務でも、AIを自社向けに鍛えられるのか？ 1本52分・3ドル未満の実測
自動採点の仕組みが用意できない業務でも、指示と正解の組だけで推論AIモデルを自社向けに調整できるか。研究チームは、GPU1枚・平均52分・1件あたり3米ドル未満で調整を終え、Rustコード生成で平均+7.0ポイントの向上と推論能力の維持を同時に達成したと報告しました。中小企業にとっての意味を整理します。
続きを読む →
学習データを71%捨てても精度は落ちないのか？場所認識AIの実測で見る「データ選別」の費用対効果
AIの精度はデータ量で決まる、という前提を疑う実測が出ました。画像による場所認識AIの学習で、データを71%削減しても精度は維持され、総学習時間は19.152時間から4.825時間へ74.8%削減。データを増やす前に選別する工程を挟む、という予算配分の話として読めます。ただし対象は特定タスクに限られます。
続きを読む →
AIの評価軸を「正答率」から「越えてはいけない線」に変えられるか——医療AI検査ベンチマーク100件の設計
臨床医1名が作った医療AI安全性ベンチマーク「MedFailBench」は、合成症例100件を6種類の失敗ゲートと5段階の重大度で分類した。正解率ではなく「どの安全境界が破られたか」で測る設計思想は、中小企業の社内AI評価表にそのまま応用できる。ただし実験規模は極端に小さく、論文自身が限界を並べている。
続きを読む →