AIが生成したJSONを、本文としてそのまま4か月公開していた話

noteに自動投稿するパイプラインで、AIの生成結果をJSON形式で取得していますが、パース失敗時に生応答をそのまま本文として投稿していました。投稿は4月、気づいたのは8月。約4か月、読者には記事本文として { "title": ... } が剥き出しで見える状態が続いていた。11本の記事に JSON が露出した本文が公開されていました。

失敗は2つ重なっていた。ひとつはパース失敗時のフォールバックが単に生応答を本文へ入れていたこと。もうひとつはAIの応答がトークン上限で途中で切れていて、JSONが閉じていなかったこと。この2つが重なると、極めて静かな事故になります。例外も出ない。投稿も完了した状態で見える。ログには「今日も投稿できた」と記録される。人間が公開ページを見ない限り気づかない。調査段階でも、meta descriptionだけを取ると途中で切れて見えるので、一度は「システム側の表示バグでは？」と誤診しかけました。正しくは公開APIで本文全文を取り、ローカルの生成元と突き合わせてようやく確定します。

ここで最も厳しい現実は、AIが悪いのではなく、人間のパイプライン設計が悪かったということです。失敗をなかったことにするフォールバックは、失敗を修復ではなく隠蔽していた。修復するなら例外を上げて処理を止めるべきだった。自動化パイプラインは成功時のナレーション情報だけで監視していると、この種の静かな故障が何ヶ月も残る。壊れた記事が公開されるのは見えないコストで、誤検知で止まるのは見えるコストだ。中小企業が自動化を導入するときは、この優先度を逆にしてはいけません。