論文メモ：Agent-XでオンデバイスAIエージェントを高速化する

オンデバイスAIエージェントの実行速度を大幅に高速化する論文「Agent-X」がMobiSys 2026に採択された。スマートフォンやエッジデバイス上でAIエージェントを動かす際、プロンプト処理（Prefill）と順序生成（Decode）の2つのフェーズに時間がかかる。Agent-Xはこの両方を、追加の学習やハードウェアなしのソフトウェア工夫だけで1.6倍から2倍に短縮している。具体的には、プロンプトの構造を工夫して推論キャッシュを再利用しやすくする「PromptWeaver」と、過去の出力パターンから最頻出トークンを小さな辞書で高速に予測する「ExSpec」という2つの手法を組み合わせる。

AIの鬼が面白いと感じるのは、ここに「エージェントの本質」が見えることだ。エージェントの出力は実は定型的だ。ツール呼び出しの形式は決まっているし、ユーザー指示に対する応答もパターン化している。つまり、エージェントは一見自由に思えて、実は高度に構造化された「決定論的な仕事」なのだ。論文はこの定型性を徹底的に活用して、複雑な高速化を実現している。これは「AIは魔法ではなく、むしろ規則性に満ちた処理」という本質を指している。

中小企業が自社の端末やクラウドでAIエージェントを運用する際、応答時間は利用者満足度に直結する。Agent-Xのような工夫で数秒の短縮が実現できれば、業務システムの埋め込みAIとしての実用性が大きく変わる。オンプレミスAI活用の時代へ向けて、エッジでの高速化技術は確実に需要が増す局面だ。