AIによる自動修正、PR作成だけで終わっていませんか？ Flaky Testを自動マージまでつなぐ改善ループ

Hubbleは、不安定なテスト（Flaky Test）をDatadogで検知し、AIエージェント（Devin）に修正させるループを、人間を介さずに最後まで自動化した。修正PR作成から約9分で開発ブランチにマージされ、人間のアクションはゼロである。前回の運用では、AIが修正PRを作ったあと、人間が中身を見てDraftをOpenに変え、誰かがレビューし、もう誰かがマージする。それぞれは短いが、全部が「人間の手すき待ち」になり、2時間以上待つこともあった。

今の到達点は作成から3分でAIが自らコードレビューと影響度判定を行い、CIが条件を満たしたらそのまま自動マージする。人間が「レビューも自動化しようとしています」と書く企業は多いが、実際にマージまで自動化している例は極めて稀だ。秘訣は3つ。重複修正を作らない仕組み、セルフレビュー情報を充実させたことで人間を介さずにAIと機械が判定できるようにしたこと、そしてマージゲートを明確に設計したことである。

自動化の勘違いは「作成まで自動」で満足してしまうこと。最後まで自動化して初めて、AIの投資効果が出る。待つ時間がゼロになれば、人間が他の仕事に集中できる。これが本当の自動化だ。