Anthropicは、AIエージェントを確実に制御できない。代わりに内部評価を稼働中のインターネットから切り離す
Anthropicは「すべての内部評価」について「インターネットへのライブアクセスを無効化した」と述べた。追って通知があるまでの措置だとしている。
出典: TechCrunch AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 TechCrunch AIで元記事を読む →
編集部の実践記録から
AI解体新書
AIエージェントの「移行できました」は信じてよいのか？30件中29件を成功と自己申告し、実際に通ったのは22件
IBM Researchが公開したScarfBenchは、Enterprise Javaのフレームワーク間移行をAIエージェントに解かせるベンチマークです。最上位のエージェントでも挙動を保った移行の成功率は10%未満、アプリ全体移行30件では29件を成功と自己申告しながら実際にビルドできたのは22件でした。検収基準の置き方を考え直す材料になります。
続きを読む →
AI解体新書
会議室や工場で音声認識AIの精度はどれだけ落ちるのか（低SNR環境で誤り数倍）
Treble TechnologiesがHugging Faceと共同で公開したFFASRリーダーボードは、無響の2,000サンプルを14部屋でシミュレーションし、9条件のうち4条件でASRを比較しました。低SNR（6dB未満）では単語誤り率が近接環境の数倍。ベンダー公表値の読み方と、自社での検証手順を整理します。
続きを読む →
AI解体新書
手順書を足せばAIエージェントは賢くなるのか？正答率67%→43%、あるタスクでは100%→0%になった記録
Hugging Faceが自社ツール上でオープンモデルのエージェント能力を3段階の構成で測ったところ、手順書（Skill）を同梱した構成で小型モデルの一致率が67%から43%に落ち、あるタスクでは100%から0%になりました。同じ作業のトークン消費が約2,400から約23,000へ振れた例もあります。中小企業がPoCで何を測るべきかを整理します。
続きを読む →