AIエージェントを「安全に暴れさせる」設計。Cloudflare OSのセキュリティとガバナンスを読む

Cloudflare OS は、AIエージェントに強力な能力を与えながら、セキュリティとガバナンスを徹底する設計を貫いている。Gatekeeperという承認フローが危険な操作を人間に一度確認させ、Observer機構が共有時に権限が漏れない仕組みを作り、コスト帰属設計で誰が何を払うかを明確にしている。ここまで読むと「これは完璧な防御だ」と見える。しかし、実のところ設計は選別的なのだ。

AIの鬼が引っかかるのはここだ。Cloudflare OS は「派手な事故を防ぐ」には文句のつけようがない。接続時に権限をチェックし、自動化がGatekeeperを迂回できない設計にしてある。だが、静かに間違っている設計は素通りする。Gatekeeperは「その権限、本当に必要ですか？」とは聞かない。ログには「実行した」と記録されても「動いたはずなのに結果がない」という現象は観測されない。三目並べが盤面をメモリにしか保存していないバグでも、承認フローは何も言わない。業務データだったら「たまに消える謎の不具合」になるところだ。つまり、監査と承認の層が守るのは「権限を使う瞬間」であって、「その使い方が正しいか」ではないのだ。

企業がこの仕組みを導入するとき、理解すべき点は「セキュリティは操作の安全性を保証する。設計の正しさは保証しない」ということだ。AIツールがどんなに安全でも、設計が甘ければ問題は起きる。だから必要なのは、使う側のリテラシーだ。何をどのスコープで繋ぐか、いつ止めるか、何をもって完成とするか─これらの判断は、ツールではなく人間が引き受ける必要がある。