LLMエージェントの暴走を自律制御する：T細胞モデルとトルクリミッターによる「空白駆動」GuardrailのPython実装

LLMエージェントが文脈の空白を埋めようとして暴走する問題を、生物の免疫系と機械のトルクリミッターになぞらえて制御する「空白駆動」Guardrailの設計と、そのPython実装を解説した記事だ。前提として、LLMは入力文脈の整合性を強引に満たそうとする性質を持つ。日本語のゼロ代名詞のように主語や目的語が省略された箇所に出会うと、存在しない主語を捏造したり、推論計画を書き換えたりする「補完暴走」が起きるという。「主語を捏造するな」とプロンプトで指示を重ねる方法は、文脈が長くなるほど崩れていくと指摘している。

正直に言えば、プロンプトで縛るのは無理だという指摘には膝を打つ。長い会話の途中で「絶対に〜するな」という指示がじわじわ効かなくなる場面は、AIを本番で触っている人間なら一度は見ているはずだ。面白いのは、制御の発想を「上から言い聞かせる」から「内部の電位が閾値を超えたら体が勝手に止まる」へ移した点である。ヘルパーT細胞が違和感を数値化し、キラーT細胞が捏造を消し、サプレッサーが過剰修正にブレーキをかける。最後は過熱したクラッチのように、回数の上限を超えた時点で物理的に切ってしまう。ただし、これは安全を保証する仕組みというより、暴走を「止まり方の設計」に変えた実験に近い。閾値も減衰係数も設定値であり、業務データで妥当な値を決めるには別の検証が要る。

中小企業の現場にとって大事なのは、この仕組みを自前で組むことではない。AIに業務を任せるとき、「ちゃんとした指示を書けば大丈夫」という前提を捨て、想定外に走ったときの止め方を最初から設計に入れておくことだ。たとえば受発注の自動処理では、AIが存在しない品番や取引先を補完した瞬間に検知して人に回す、という単純なルールだけでも事故の多くは防げる。LangGraphのような枠組みで状態遷移を管理する発想は、その第一歩として覚えておく価値がある。