E2Eテスト、もうAI Agentにやらせたらええやん

国内企業クイック・ネットワークのCTO室室長であるfujidev氏が、バックエンドのE2EテストをAIエージェントに任せた試行を紹介している。前提は、ローカル環境でバックエンドのAPIが稼働し、マスターデータが投入されていることだ。シナリオを定義したYAMLで業務フローの各ステップを書き、アクションのYAMLで叩くAPIを指定する。ドメインのYAMLで車両データや価格などのサンプルを与え、AGENTS.mdには失敗しやすい箇所を避けるための指示を書く。確認できる範囲で7件ほどの機能で使われており、シナリオの追加も現場で続いているという。

面白いのは、テストコードを書いて直すのではなく、テストの手順書を書いてAIに読ませる発想だ。従来のE2Eは小さな変更で壊れ、保守の複雑さの前に多くのエンジニアが散っていった。AIが文脈を読んで手順を読み替えることで、その保守の重さを肩代わりさせている。ただし筆者自身が「本当に合っているのか」と書いている通り、AIが成功と言えば通ってしまう危うさは残る。AGENTS.mdに「DB を直接更新したら必ず報告する」「2xx だけで完了と判断せず読み取り API で確認する」というルールが並ぶのは、AIを信じるためではなく、AIの報告を疑うための仕組みだ。AIに任せるとは、AIを信じることではなく、報告を検証できる仕組みを作ることだというのが本音だろう。

中小企業では、テストを書く人手が足りないことが多い。明日からできるのは、業務の一連の流れを「誰が何をして、何が見えたら完了か」の形で書き出すことだ。それがそのままAIへの指示書になり、結果を確認する項目にもなる。