エージェントが考えている間にツールを先に叩くSPORK、待ち時間を18%削る

エージェントが遅いとき、犯人はたいてい「モデルの生成が遅い」ではない。search()やrun_sql()の結果が返ってくるのをGPUが手を止めて待っている時間だ。7月にarXivに発表されたSPORKは、この「待ち」だけを狙う。しかもモデルの再学習は不要で、通常のAPI上に薄いコントローラを1枚かぶせるだけで動く。計測結果によると、外部ツールの実行がエンドツーエンドの実時間の16～37%を占める。デコード速度をいくら上げても、それはネットワークやDBの往復という物理的な待機は埋まらない。SPORKの出発点は一つの観察だ。モデルが長い思考を書き終えてからツール名を出力するにせよ、その「呼ぶべきツール」は生成のごく初期にはもう決まっている。そこで、生成開始直後にツール予測プローブを走らせ、次に何を呼ぶかを先回りで吐かせるのだ。予測精度は98.3～99.6%（タスク依存）。当たるなら、本体がまだ思考を書いている裏で、予測したツールを先に発射すればいい。並列化だ。さらに外れた投機を捨てずにドラフトデコードの燃料にするD3という工夫まで入れると、下振れが小さくなる。結果、P50で10%、P95で18%の待ち時間削減。特にテールレイテンシの改善が大きく、これは実際の使用感に直結する。ここから学べるのは、ボトルネック特定の大切さだ。「遅い」という訴えは、その原因を計測してから直す。GPUが本当に忙しいのか、それとも待ってるのか。中小企業でもAI導入後、「返答が遅い」と聞いたら、まずはどこが遅いのか。モデル自身か、外部連携か、ネットワークか。その切り分けができれば、改善策は自ずと見えてくる。