BOHB 論文解説：候補生成と予算配分から理解する Multi-fidelity HPO

ハイパーパラメータ最適化（HPO）は機械学習モデルの性能を大きく左右するが、全パターンを最後まで学習させたら計算時間が膨大になる。試す候補は多くしたい。だが予算は限られている。この緊張を解く技術がBOHBだ。

Hyperbandは最初に多数の設定を小予算で試し、性能の悪いものを早期に打ち切る。生き残ったものだけに大きな予算を割く。限られた時間でも有望な設定を早く見つけられる。欠点は、ランダムサーチなので過去の評価から学習しない。対照的にBayesian Optimizationは過去の評価を使って有望な領域を学習するが、各試行のコストが大きい。BOHBはこの両者を組み合わせた。Hyperbandの予算配分を維持しながら、ランダムな候補生成をモデルベースの生成に置き換える。

実務的には、モデルの学習時間が数時間以上かかる案件では、全試行を完走させず、途中段階で打ち切る仕組みを用意することで、全体の開発時間を大幅に短縮できるという含意だ。複数の試行を並列に進める際、有望でない試行を早期にあきらめるルールがあると、リソースの効率が劇的に上がる。小さなデータで高い精度が出ても、本番データでうまくいくとは限らない——その順位の保存ができていれば十分という発想の切り替えが重要だ。

中小企業がAIモデルを導入するとき、完璧に調整しようと時間をかけるより、「ここまでで十分」という打ち切りルールを先に決める方が、実用化までの時間が短くなる。