744BのGLM-5.2を25GBのRAMで動かすcolibri、エキスパートをディスクから流す

744Bパラメータのフロンティア級LLM（GLM-5.2）を、GPUなしに、しかもたった25GBのノートPCで動かす—そんな話をHacker Newsで見かけ、最初は誇張だと思った。実際にリポジトリを読むと、誇張ではなかった。代償はもちろん速度だ。0.1トークン/秒—夜通し回してようやく1本の返答。ただし、ここで面白いのは「速さ」ではない。メモリ構成の前提そのものが組み替わっているのだ。

通常、744Bパラメータのモデルは400GBのメモリを要求する。しかし、このモデルはMoE（Mixture of Experts）という構造で、実際に計算するのは全体のわずか40B相当だけ。colibriはこの性質を徹底的に活かす。常駐させるのは17B分の共有層だけ（int4で約9.9GB）。残り370GBのエキスパートはディスク（NVMe SSD）に置き、必要になった瞬間だけ読み込む。つまりGPUの壁を、ディスク容量の壁に付け替えた。わずか1,300行のCコードが、その仮説を最小構成で叩きつけてきた形だ。

高速NVMeと潤沢なRAMがあれば、予測では2～4トークン/秒が狙えるという。速度はハードに左右されるが、「フロンティア級のオープンモデルを個人マシンで動かす」というラインが、GPUの値段ではなくSSDの帯域で引き直されるなら、大規模モデルの民主化は新しい段階に入る。コスト障壁が下がれば、中小企業も試験環境をローカルに持つ選択肢が生まれる。ただし、ストレージの摩耗とディスクI/Oの律速は無視できない現実を見ておく必要がある。