「1週間の開発タスク」でAIの限界を検証 Googleが「Android Bench 2.0」公開

Googleが9月17日に公開した「Android Bench 2.0」は、AIのコーディング能力を測るベンチマークを抜本的に刷新した。従来の約91%から約28%へ、通過率が急落した理由は、テスト内容が変わったから。短期の単純タスクから『エンジニアが1週間かけて取り組む複雑な長期プロジェクト』に移行したのだ。この急落こそが、AIの『本当の姿』を映している。単発の機能追加やバグ修正なら、最新のLLMは高い精度で対応できる。だが、複数の新機能を並行して設計・実装し、既存コードへの影響を考慮し、アーキテクチャ全体の一貫性を保ちながら進める『大型プロジェクト』では、AIの能力は急激に落ちる。Google Benchで見えるのは、AIコーディングの『得意と不得意の境界』だ。定型的な書き換えやアップグレード、デザインパターンの適用、125ファイル以上のコード全体に及ぶ修正は可能。だが要求の曖昧性を引き継ぎながら進める仕事や、チームの議論の中で仕様が変わっていくタスク、『なぜそうするのか』という意図判断を要するものでは精度が劇的に下がる。テスト結果には最新モデルが次々と追加されている。OpenAIの『GPT-6 Astra』が28%で最高通過率を記録した。ベンチマークが示すのは、AIが『ある種の開発は得意だが、他の開発はまだ現実的ではない』という現実だ。現場のエンジニアにとって重要な気づきは、AIを『銀の弾丸』ではなく『局所的な効率化ツール』として使い分けることだ。