AIエージェントのコストと品質を自分のモデルで実測する「te bench」を作った

AIコーディングツールを導入すると、多くの経営者や実務者が「このモデルは自分の仕事でコスパが良いのか」という疑問に行き着く。ベンダーが公表するベンチマークは、そのベンダーにとって都合の良いモデルと条件で測られており、自社の使い方とは数字が一致しないことが多い。そこで作られたのがte benchというコマンドだ。一行で実行でき、自分のAPIキーで動くモデルについて、機械採点による品質の正答率と、実トークン数に単価を掛けたコストを同時に実測できる。公式に公開された評価セットを使い、設問、正解、採点コードはすべて公開されている。

AIの鬼の本音を言えば、ベンチマークの最大の問題は嘘ではなく「他人の机の上の数字」であることだ。良いモデルを良い条件で測った数字は確かに正しいが、それを自社の見積に持ち込むと、どこかで必ず外れる。te benchの価値は、性能の数字を自分の財布で測り直せる点にある。さらに設問と採点が公開されていることで、数字の裏側を誰でも疑える。AIの性能を信じるかどうかではなく、検証できる形で示すかどうか。その姿勢の差が、今後のツール選定で効いてくると見ている。

中小企業が使うなら、まずは自社でよく回している定型作業を三〜五件、正解が決まる形に切り出すことだ。そのうえで候補のモデルを同じ条件で回し、正答率と一件あたりの費用を並べる。高いモデルが必ずしも自社に合うとは限らず、安くて十分なモデルが見つかれば、それだけで月々の利用料の議論が静かになる。測れる形にしておくことが、導入判断のいちばんの保険になる。