月3,400円のAIエージェント会社を「忘れず・暴走しない」仕組みに作り替えるまで

AIエージェントを実際に運用していて気づくのは、賢さとは別に、構造的な二つの問題が必ず出てくるということだ。一つ目は「セッションをまたぐと忘れる」。昨日説明したルールも、先週設定した手順も、文脈が切れると参照されない。二つ目は「自信満々で間違う・勝手に走りすぎる」。実例では、SNS投稿を自動化させたら連投でアカウントが凍結したという。どちらも人間側が「気をつける」では防げない。なぜなら、セッションが進むたびに、タスクが増えるたびに、チェック項目も増えて、いつか必ず漏れるからだ。

根本的な対策は二つある。忘れる問題は、記憶を「仕組み」で外部化すること。新しいスキルを追加するたびに手順を説明し直すのではなく、その手順そのものを一つのコマンドに封じ込める。register_skill.py を叩けば、登録・フォルダ作成・ドキュメント更新・反映が全部揃う。「気をつけて手順を守る」から「手順そのものを仕組みにして、守る必要をなくす」への転換だ。機密や失敗も同じで、訂正の都度メモに書くのではなく、MEMORY.md という永続記憶に「ルール」として格納する。次も同じミスをしないように、ではなく、次は自動的に正しくなる状態を作る。

暴走を止める側は、アーキテクチャで権限を段階的に制限することだ。エージェントが「完了」と言った時点では、まだ完了ではなく「提出」。そこから先は、自動テスト（QAゲート）で壊れたファイルや構文エラーを機械的に弾き、その後に人間の承認を通す。承認とは「これを世に出していいか」という取り消せない決定であり、この一線だけは手放さない。これを「鉄則」として設定ファイルに書いておけば、新しいエージェントを足しても自動的に同じルールが適用される。

中小企業がAIエージェントを導入するなら、最初から「これだけはAIに任せない」という線を決めておくこと。取り消せない操作は人間が握る、機密は外に出さない、定型的な失敗は手順にして忘れさせない。この設定をコードの側に埋め込んでおくことが、安全な運用の第一歩だ。