AIエージェント6並列でWebサービスを12日で本番リリースした並行開発の設計
Claude Codeのサブエージェントを最大6並列で回し、人間はコードを1行も書かずに、フリーランスマッチングサービス(scrum for freelance)を12日で本番リリースしました。 体験記はQiitaに書いたので(→https://qiita.com/suzuyoshi/items/c1d965a0d5bdc0c691c6)、こちらでは 「なぜ並行AIエージェント開発が破綻しなかったのか」の設計だけ を技術的に詳解します。結論から言うと、人間のチーム開発で当たり前にやることを、AIにも当たり前にやらせただけです。ただし「当たり前」を明文化してルール化しないとAIは守れないの...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
社内データにAIを「たどらせる」方式は、追加学習なしでどこまで当たるのか（Macro F1 66.29%／最難関40.83%）
知識グラフを段階的にたどらせてSPARQLを生成する手法MARSが、ファインチューニングなしで既存手法を上回った。ただし最高でもMacro F1は66.29%、最難関ベンチマークでは40.83%。社内DBへの自然文質問AIを検討する中小企業が、精度の天井をどう見積もり、どこに人を残すべきかを一次資料の数字から読む。
続きを読む →
AIの正解ラベルは100件で足りるのか？7,241件分の精度に到達した選び方と、9回中5回失敗した落とし穴
7,241件のデータプールからAI自身の不確実性で100件だけ選ぶと、全データ学習とほぼ同じ精度に届いた。一方で1回きりの微調整は9シード中5シードが物理的にありえない出力を学習し、検証スコアはそれを検知できなかった。ラベル作成コストに悩む中小企業が読むべき、選び方と止め方の設計を解説する。
続きを読む →
ベンチマークのモデル順位は、比べる相手が偏ると順位一致度0.60未満まで崩れるのか
人間のテスト理論である項目反応理論をAI評価に持ち込んだ18,000条件のシミュレーション研究。評価対象モデルの能力分布が偏ると順位再現度は0.60を割り、モデル数30では項目の難易度推定が0.50を下回った。一方で上位10%の項目だけでも順位再現は保てた。中小企業が「ベンチマーク上位」をどう読むかの材料として整理する。
続きを読む →