「朝のブリーフィングAI」を作ろうとして、結局スキルを1個捨てた話
やりたかったこと 朝起きたら、今日の予定・メールの緊急事項・気になるニュースが一枚のページにまとまっている。そんな「朝のブリーフィング」を、Claude(Cowork)に毎朝自動で作らせたい——というのが今回のお題でした。 要件を整理すると、こんな感じです。 情報源は「今日の予定」「メールの緊急事項」「フォローしているニュース」の3つ 毎朝6:30(日本時間)に、週末も含めて毎日届く 中身が固まる前に、まずサンプルを見せてから本番稼働させる シンプルに聞こえますが、進めていくうちに何度か前提がひっくり返り、最終的には作りかけのスキルを1つ丸ごと捨てることになりました。その過程の記...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
AIエージェントの「移行できました」は信じてよいのか？30件中29件を成功と自己申告し、実際に通ったのは22件
IBM Researchが公開したScarfBenchは、Enterprise Javaのフレームワーク間移行をAIエージェントに解かせるベンチマークです。最上位のエージェントでも挙動を保った移行の成功率は10%未満、アプリ全体移行30件では29件を成功と自己申告しながら実際にビルドできたのは22件でした。検収基準の置き方を考え直す材料になります。
続きを読む →
会議室や工場で音声認識AIの精度はどれだけ落ちるのか（低SNR環境で誤り数倍）
Treble TechnologiesがHugging Faceと共同で公開したFFASRリーダーボードは、無響の2,000サンプルを14部屋でシミュレーションし、9条件のうち4条件でASRを比較しました。低SNR（6dB未満）では単語誤り率が近接環境の数倍。ベンダー公表値の読み方と、自社での検証手順を整理します。
続きを読む →
手順書を足せばAIエージェントは賢くなるのか？正答率67%→43%、あるタスクでは100%→0%になった記録
Hugging Faceが自社ツール上でオープンモデルのエージェント能力を3段階の構成で測ったところ、手順書（Skill）を同梱した構成で小型モデルの一致率が67%から43%に落ち、あるタスクでは100%から0%になりました。同じ作業のトークン消費が約2,400から約23,000へ振れた例もあります。中小企業がPoCで何を測るべきかを整理します。
続きを読む →