「Claude Haiku 5.5」は本当にコスパがいいのか？ 3つの日本語タスクで検証してみた

米Anthropicは10月7日、同社のモデルで最も軽量な「Claude Haiku 5.5」を公開した。同社は「コスト重視、速度重視のタスクに適している」と説明している。配信元の検証記事は、日本のビジネス文書の作成で本当にコスパが良いのかを、上位モデルのClaude Sonnet 5.5や競合のGPT-6 Lunaと比べて確かめたものだ。検証は3つの課題を各3回ずつ、思考量を「medium」と「max」の2段階で行い、採点は別のAIモデルに依頼している。

AIの鬼の視点で面白いのは、「考える時間を増やしたら必ず賢くなるわけではない」という結果だ。定型のお詫びメールでは、Haiku 5.5はmediumで8.0点、maxにすると7.8点と、むしろ下がった。しかも時間は約13倍、費用は約15倍に膨らんでいる。一方で、取引条件の英文メールを扱う課題では、mediumのHaiku 5.5は相手と自社のどちらの立場で書くべきかを取り違えた。maxに上げるとその取り違えは消えたが、今度は1回答に254秒かかり、費用もSonnet 5.5のmediumとほぼ同じになった。つまり「安いモデルを限界まで考えさせる」は、安さの看板を自分で下ろす行為に近い。軽い仕事は軽いモデルで、立場や約束が絡む仕事は上位モデルで、という割り振りの方が結局は安くつく。記事はそう結論づけている。

中小企業の実務に落とすなら、「まずは軽いモデルでmedium、立場や期日が絡む文書だけは上位モデルで」という一言で足りる。そして、どのモデルを使うにせよ、AIが書いた納期や日付は必ず自分の目で確認すること。検証で最も重い減点になったのは、文字の上では「見込み」と書きながら、表では確定納期のように読める記述だった。