文系東大生がGPT型モデルをフルスクラッチで開発する話 番外編１【株式会社ハイレゾ協力】

東大AI研究会の学生たちが25億パラメータのGPT型モデルをフルスクラッチで開発している。最大の課題は計算資源だったが、ハイレゾのGPUクラウド「GPUSOROBAN」でNVIDIA A100 80GBを借りることで、初期投資なしに開発を進めることができた。Instruction tuningで回答の形式を学ばせたら、それまでの「同じ話を繰り返す」という癖が改善され、まともな回答が出始めた。

ここから先の話が学生らしい。G検定に合格させたいから、481個の用語について1用語につき1000件の回答を生成しようとした。合計48万1000件だ。テストで48100件を生成したときは2時間かかり、本番では20時間以上、費用は50ドル程度だと見積もった。OpenRouterに50ドル課金して生成を開始すると、予想より爆速で進んでいく。35万件まで来たところで、突然の402エラー。残高不足だ。使用量を調べると、50ドルで生成できたのは9000万トークン。目標の半分以下だった。

原因は二つあった。一つ目は「gpt-oss-120b:nitro」という設定だ。学生は「DeepInfraを使っている」つもりだったが、「nitro」は応答速度を優先してプロバイダーを自動切り替えする設定。つまり、キューが詰まっているときは別の高コストプロバイダーへ自動で流れていた。二つ目は、生成完了数の計測がバグっており、実際より多くの回答が生成済みと表示されていた。ChatGPTに書いてもらったコードを、十分に検証していなかったのだ。

ここが面白い。AIの時代、「AIの出力が正しいか見極める能力」が重要だと言われるが、学生たちが直面したのはまさにそれだ。プロンプトを工夫してAIに何かをやらせるのではなく、AIが吐いたコードが本当に想定通りに動いているか、実行環境で検証できるか、そういう地味で退屈な確認作業が、初めて成立条件になる。AIを使えば速いのではなく、AIを使うから、逆に人間は「本来やるべきでない検証」に時間を使わざるを得なくなった。中小企業もこれと同じだ。AIツールを入れたから生産性が上がるのではなく、AIが出した答えを確認する体制を整えてようやく使える。むしろAI導入前より、確認コストが増えることもある。それでも企業はAIを入れたいのは、期待値がそれを上回っているからだ。学生たちの失敗は、その期待値と現実のギャップを教えてくれている。