GeneBench-Proを発表
GeneBench-Proは、複雑な実世界データセットを用いてゲノミクス、生物学、科学研究におけるAIパフォーマンスをテストする新しいベンチマークである。
出典: OpenAI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 OpenAIで元記事を読む →
編集部の実践記録から
AI解体新書
AIに答えさせず問い返させると、成果は変わるのか（対照群比+0.258標準偏差、n=1,763・8週間）
Google DeepMindがシエラレオネの中等学校12校・生徒1,763人・8週間の事前登録済みRCTで、AIに直接解答をさせず問い返させる「ガイド付き学習」を検証。数学スコアは対照群比+0.258標準偏差。ただし発信元は製品提供者本人であり、学力層による効果の偏りも自ら認めている。読み方を整理する。
続きを読む →
AI解体新書
AIは「人間なら数週間」の開発をどこまで完遂できるのか ― 1.7万行の再実装はテスト2,000/2,001件、6.1万行は35%止まり
Epoch AIの暫定結果によると、熟練エンジニアで2〜17週と見積もられた約16,905行のツールキット再実装を最新モデルがE2Eテスト2,000/2,001件（99.95%）で完遂した一方、約61,461行の課題は10億トークンの約9割を使って可視テスト256/733件（35%）で未解決でした。規模と費用の境界線を読み解きます。
続きを読む →
AI解体新書
AIは人間の何時間ぶんの仕事まで任せられるのか？ 4分未満はほぼ100%、4時間超は10%未満だった
METRが2025年3月19日に公開した測定によると、現行モデルは人間が4分未満で終える作業をほぼ100%こなす一方、人間が約4時間超かかる一続きの仕事は10%未満しか完遂できない。成功率50%の時間地平は約7か月で倍化。中小企業が導入判断に使える物差しとして読み解く。
続きを読む →