圧縮KVキャッシュを下書きに使い、出力を変えず最大4倍にするVeriCache

KVキャッシュの圧縮は、短いテキスト応答では気づかないが、長いコード生成やエージェントのツール呼び出しでは途中から出力がじわじわ崩れて、別物になってしまう。この「短距離では無害、長距離では致命的」という性質が、KV圧縮を本番環境に持ち込む際の最大の悩みどころだった。VeriCacheという研究は、この問題を「圧縮を信じるか信じないか」の二択から脱出させた。発想を逆転させ、圧縮したキャッシュを「答え」ではなく「下書き」として扱い、正解は非圧縮のキャッシュで答え合わせする。結果として、圧縮の速さを保ったまま、出力は非圧縮とビット単位で同一になる。

仕組みは投機的デコーディングという概念を、キャッシュの精度差に適用したものだ。圧縮キャッシュで候補を素早く生成し、非圧縮キャッシュで検証して、最初に食い違う位置までを採用し、そこからは検証側の正解で続行する。普通の投機的デコーディングは小さなドラフトモデルと大きな検証モデルという別々の2モデルを使うが、ここは同じモデルを二度回す。片方は安くて近似なキャッシュ、もう片方は正確で重いキャッシュ。効いている部分は、この二つがボトルネックを消費する「詰まる場所」が違うことだ。圧縮キャッシュはGPU演算をほぼ使わず帯域待ちになり、非圧縮キャッシュはGPUへの読み込みが重い。この二つを交互に走らせるのではなく、ずらして重ねれば、非圧縮キャッシュを裏で読み込んでいる間にGPUは圧縮キャッシュで下書きを進められる。資源が遊ばない。

実務的な持ち帰りはシンプルだ。これまでKV量子化は「品質が落ちるかもしれない」というリスクとのトレードオフだったが、VeriCacheの枠組みでは圧縮の役割が純粋に速度へ移る。長い文脈を扱うエージェントや、GPUメモリに全キャッシュを載せきれない長文推論で、精度を賭けずにスループットを取りにいける。Mistral・Qwen・Llamaで最大4倍のスループット向上が測定されている。既存の圧縮アルゴリズムをそのまま使えるので、乗り換えコストも小さい。ただし非圧縮キャッシュをCPUや遠隔に丸ごと保持するため、GPU外のストレージ消費は増える。