GPUクラスタ向けの影響力の大きいスケジューリング

Ai2のAIインフラチームは、研究所のGPU計算資源を預かり、大規模な分散学習のジョブを回す役目を負っている。その運用の考え方は、四段のピラミッドとして整理されている。土台は可用性、つまりハードウェアがどれだけ健全で作業可能な状態にあるかである。その上に占有率、つまり利用可能な時間のうち特定ジョブに割り当てられた割合が来る。さらに影響度、すなわち最も価値の高いジョブが資源を得られた頻度が続き、頂点に稼働率、ジョブの寿命全体でGPU能力がどれだけ使われたかが置かれる。今回の記事は、このうち影響度、つまりスケジューリングの判断の質を改善した話である。 同社はH100、B200、B300といったNVIDIAのGPUを数千基規模で運用し、88基から1024基までのクラスタに分けて約150人の内部研究者に提供している。需要は供給の2〜3倍に達し、どの時点でも利用可能なGPU時間ひとつに対して2〜3の研究ジョブが競合している計算になる。以前は優先度ベースのスケジューラを使い、プリエンプト（強制中断）されないジョブを選べる仕組みだった。その結果、必要なときに使えるよう何もしないジョブを置いておく「GPUの占拠」や、最終的に全ジョブが最高優先度になる「優先度のインフレ」が起き、下位の優先度は一切資源を得られなくなった。オンコール担当者は、保守問題のあるホストで動く非中断ジョブの停止交渉に、チケット対応時間の大半を費やしていた。 AIの鬼の視点で言えば、これは典型的な「コモンズの悲劇」だ。個々の研究者は自分のジョブの価値を一番よく知っているが、その情報を正直に申告するインセンティブは持たない。優先度を上げれば自分の仕事は通る。問題は、設定を締め直しても根本原因には届かないことだ。同社も当初は優先度の設定を厳しくし、重要プロジェクトに GPU を独占させる迂回策で凌いでいた。ルールの方を変えず、人の運用で穴を埋めようとすれば、穴は必ず別の場所に開く。今回の改善は、GPU時間の配分を都度の交渉ではなく、透明な管理予算として扱うところに本質がある。 中小企業の実務に置き換えるなら、社内で限られたPCや設備、人員を取り合う場面で同じ構図が起きている。誰かが「うちが一番大事だ」と声を上げて通る仕組みは、声の大きい部署にだけ資源が流れる。明日からできるのは、配分の根拠を数字で見える化し、枠を予算として事前に決めておくことだ。判断の場を「お願い」から「枠の運用」に変えるだけで、現場の消耗はかなり減る。