誰もやってないベンチマークとAPI非依存におけるアプリ内アストラの挙動報告

ChatGPT のアプリ内でアストラという新モデルを試した個人的なベンチマーク報告です。報告者は「黒パグベンチマーク」と呼ぶ自作の試験方法を使い、朝は花を植えるゲーム制作、正午に記事のドラフト作成、午後に数学の試験（極座標ラプラシアンの導出を幼稚園児向けに説明）という複合タスクを実行しました。興味深い点は、この一連の作業を単なる「できた / できない」ではなく、検証記録をファイルに残して後から分析できるようにしたことです。例えば数学試験では Python で有限差分による数値検算まで行い、回答の正確さをデータで確認。ブラウザ検証も Node の代替 DOM で実行し、失敗含めて記録に残しています。

AIの鬼が指摘する重要な点は「能力の印象と実装の詳細は分ける必要がある」ということです。画面には「ブラウザ検証完了」と出ていても、ログを読むと実際の検証は限定的です。日本語フォントが欠けたり、実ブラウザではなく代替描画だったり。同様に使用量の表示も変わり、かつての「トークン数」から「クレジット表示」へ切り替わったため、正確な消費を追跡できなくなっています。報告者も「Sol mid と同じくらい」という体感を述べつつ、それが並行測定ではなく単なる印象だと明記しています。中小企業が AI を導入する際、こうした検証の手間と厳密さの度合いを理解することが重要です。「この AI は優秀だった」という評判は、誰がどこまで確認したかで信頼度が大きく変わります。自分たちの実務で試すときは、報告者のように成功だけでなく失敗ログも残すこと。その小さな習慣が、AI ツール選定の本当の判断材料になります。