AIが自己採点91.5点をつけた動画には、実在しない機能が映っていた
個人で作っている家計簿SaaSのLPに、18秒のプロダクト紹介動画を置きました。 画面録画ではありません。アプリのUIをReactで組み直してRemotionでレンダリングし、音はFFmpegで合成しています。素材ファイルは1つも買っていません。 そして、これを作ったのは私ではなくAIです。私が書いたコードは1行もありません。 ただ、この動画は一度作り直しています。AIが自分で91.5点をつけた最初の版には、うちの製品に存在しない機能が映っていました。 まずGPTに「Claudeへの指示書」を書かせた 最初にやったのは実装依頼ではなく、GPTへの相談でした。 海外のSaaSのホー...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
AIに答えさせず問い返させると、成果は変わるのか（対照群比+0.258標準偏差、n=1,763・8週間）
Google DeepMindがシエラレオネの中等学校12校・生徒1,763人・8週間の事前登録済みRCTで、AIに直接解答をさせず問い返させる「ガイド付き学習」を検証。数学スコアは対照群比+0.258標準偏差。ただし発信元は製品提供者本人であり、学力層による効果の偏りも自ら認めている。読み方を整理する。
続きを読む →
AIは「人間なら数週間」の開発をどこまで完遂できるのか ― 1.7万行の再実装はテスト2,000/2,001件、6.1万行は35%止まり
Epoch AIの暫定結果によると、熟練エンジニアで2〜17週と見積もられた約16,905行のツールキット再実装を最新モデルがE2Eテスト2,000/2,001件（99.95%）で完遂した一方、約61,461行の課題は10億トークンの約9割を使って可視テスト256/733件（35%）で未解決でした。規模と費用の境界線を読み解きます。
続きを読む →
AIは人間の何時間ぶんの仕事まで任せられるのか？ 4分未満はほぼ100%、4時間超は10%未満だった
METRが2025年3月19日に公開した測定によると、現行モデルは人間が4分未満で終える作業をほぼ100%こなす一方、人間が約4時間超かかる一続きの仕事は10%未満しか完遂できない。成功率50%の時間地平は約7か月で倍化。中小企業が導入判断に使える物差しとして読み解く。
続きを読む →