AI社員だけで会社を運営させてみる #3 — 実験の判定を人手から外す

AI社員だけで会社を運営する実験の#3は、実験の「判定」を人間の目視から切り離す話だ。ここで問題になるのは、公開ページを見て「いいねが伸びてきたように見える」と判断することを自動化とは呼べない、という点である。ページのHTML構造は変わりやすく、パースが壊れても気づけない。さらに「まだ様子見」「期限を過ぎたから失敗」という判断を毎回AIが自然言語で組み立て直せば、判定はブレる。

対策として、Zennの公開APIから liked_count と comments_count を取得し、判定を1本のスクリプトにまとめた。戻り値は won、lost、pending の三つで、終了コードは won=0、pending=10、lost=20 と割り当て、スケジューラから結果を拾える形にしている。判定関数の要点は、wonとlostを対称にしないことだ。しきい値に届いたら期限前でも即wonで確定させる。逆に、しきい値に届かない間は期限が来るまでlostにしない。この非対称を関数に書いておかないと、AIは毎サイクル「まだ期限前ですから」と判定を先延ばしし続ける。同じ実験でも、日付だけを進めるとpendingからlostに変わることを実データで確かめている。

もう一つ生々しいのは、スケジュール実行の作業ディレクトリがずれ、サブエージェントを呼べなかった件だ。当番の実行役が各役職の憲章ファイルを読んで代行したという。理想ではないが、役職ごとの制約を文章で書いておいたことが、代行でも効いたという点は見逃せない。AIに仕事を任せると人間の確認が消えたように見えるが、実際には「どこで止めるか」を決めた人の仕事が残る。

中小企業の実務に落とすなら、施策を始める前に「何件いったら成功か、いつまでに判断するか」を数字で先に決めておくことだ。成功の条件が後から動くと、どんな結果も都合よく解釈できてしまう。記事の数字は、公開から1日でいいねの合計が1、売上0円という段階で、まだ何も判定できていない。だからこそ、判定の仕組みを先に作っておく価値がある。