AIが電話で予約を取るOSSを作った。予約できたかどうかは、AIではなく店側の発言で判定する

開発者がOathraというツールを公開した。AI同士が電話で会話し、客側が店側と予約を交わす。ただし完了の判定はAIの「予約できました」ではなく、店側が「ご予約承りました」と言ったときだけだ。その理由は、実験過程で起きた複数のトラブルにある。席が取れていないのに「予約できました」と言い切る、留守番電話に延々と頼み続ける、予算を超えた値段を受け入れてしまう、といった具合だ。

Oathraは完了を決定論的なパーサで判定する。「19時はいっぱいですが19時半なら」という発言から、19時の候補を除外し、19時半だけを証拠として残す。「たぶん大丈夫」は同意ではない。「承りました」の後に金額が変われば、確定は古くなり取り直しが必要だ。1万通りの意地悪な店員シナリオで破壊テストを行い、バグを捕まえた。例えば「21,100円」がカンマで節分割されて「100円」になり、AIが受諾したケースも見つかった。

これは「AIは嘘をつく」という前提で世界を設計しているということだ。LLMの出力を直接信用せず、相手の発言（客観的な証拠）で検証する。中小企業が業務自動化を考えるとき、AIの効率化だけに目がいき、「検証層」「人による承認」「マシンによる証拠確認」という3層を作らずに本運用に入る例が多い。本来ならその代価は高くつく。