世界初、ダブルブラインド方式によるAI評価を試行
世界初のダブルブラインドAI評価をパイロット実施している。
出典: Google DeepMind（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Google DeepMindで元記事を読む →
編集部の実践記録から
AI解体新書
単価の安いモデルを選べば安くなるのか？417タスクで155ドルと79ドルが逆転した記録
IBM Researchが同一条件の417タスクでエージェントを動かしたところ、公表単価の安いGPT-4.1が総額155ドル、単価の高いClaude Sonnetが79ドルとなり、実測で約2倍の逆転が起きました。AI利用料をカタログ単価で見積もる危うさと、中小企業が取るべき比較手順を整理します。
続きを読む →
AI解体新書
975Bモデル、中小企業が自社で動かせるのか — VRAM要件2TB・600GBの現実
Hugging Faceが公開したThinking Machines製モデル「Inkling」の紹介記事から、オープンウェイトモデルの自社運用に必要なVRAM量と、公開されたベンチマーク数値を実測ベースで整理します。「オープンウェイトだから自社に置ける」という前提がどこで崩れるかを、数字と限界の両方から確認します。
続きを読む →
AI解体新書
音声AIの「人間らしさ」は40以上のモデル比較でどこまで測れたのか
Hume AIが40以上の音声モデルを15以上の評価軸・60以上の指標で比較し、100万件以上の人間評価を集めた結果を公開しました。8つの能力グループ全てで上位5位に入る構成は0、ノイズ背景の文字起こし誤り率は音楽背景の約4倍。自社導入の判断にどう使うかを整理します。
続きを読む →