結論から：生成AIのモデル選びを「どれが賢いか」の順位から始めると外します。理由は2つあります。同じ設問に54モデルを当てた検証では、正答率が25.66%〜82.18%まで開き、下限は4択の偶然正解25%とほぼ区別がつきません。つまり順位表は用途を変えると簡単に入れ替わります。そしてもう1つ、モデルは選ぶより「指定し忘れない」ほうが事故に直結します。当社はスクリプトにモデルの指定を書き忘れただけで、553件中414件（75%）を失敗させました。比較表を作る前に決めるべきことが4つあります。
株式会社TOEはAI開発・AI活用支援を事業としており、この記事は提供する側が書いています。中立の第三者ではありません。モデルの性能比較は当社では実施していません。ここに載せるのは、公開された検証の数字と、自社の運用で起きたことだけです。
順位表から始めると外れる理由
公開されているベンチマークの一例です。1,173問・4択で、54モデル（ベース23／指示調整31）を評価したものがあります。
| 区分 | 正答率の範囲 |
|---|---|
| ベースモデル（23） | 27.45% 〜 74.68% |
| 指示調整モデル（31） | 25.66% 〜 82.18% |
| 4択の偶然正解 | 25% |
下限の25.66%は、当てずっぽうと区別がつきません。 そして上位と下位で3倍以上の開きがあります。
さらに、このベンチマークの最大カテゴリは「言語・方言」の619問で、知識量ではなく土地固有の言い回しの解釈を問う設計です。発表しているのはモデル提供者自身であり、著者も「絶対的なランキングではない」と明言しています（大きいモデルなら自社の言葉も通じるのか）。
ここから中小企業が持ち帰れるのは1点だけです。 業界用語や社内独自の言い回しが絡むタスクでは、評判ではなく自社データの小さな問題セットで足切りすること。順位表は自社の言葉を測っていません。
選ぶより、指定し忘れないほうが重要
当社の実測です。一括処理のスクリプトに、どのモデルを使うかを書き忘れました。
| 項目 | 実測 |
|---|---|
| 処理しようとした件数 | 553件 |
| 失敗した件数 | 414件（75%） |
| 巻き添えで止まったもの | 分析処理3本＋社長本人の作業 |
| 原因 | モデル指定の1行の書き忘れ |
指定が無いと、既定の上位モデルが使われます。上位モデルは出力単価が軽量モデルの5倍前後なので、大量処理では利用枠を一気に食い潰します（AI処理414件を失敗させた話）。
技術的に高度な失敗ではありません。1行です。 だから当社はこれをルールにしました。バッチ処理は必ず軽量モデルを明示的に指定する、というものです（生成AIの社内ルールに何を書くか）。
比較表を作る前に決める4つ
| # | 決めること | 決めないとどうなるか |
|---|---|---|
| 1 | その工程に、そもそもAIが要るか | 条件式で書けるものにAIを使うと、遅く・高く・説明できなくなる |
| 2 | 自社の言葉で足切りする問題セットを作ったか | 順位表は自社の業界用語を測っていない。20問でも自作したほうが速い |
| 3 | 使うモデルを固定して明示するか | 指定漏れで既定の上位モデルが使われる。当社は75%失敗した |
| 4 | 処理量の上限を決めたか | 単価×件数で見ないと、1件数円でも月10万件なら数十万円になる |
1番から始めてください。 当社は自社メディアを8工程で毎日無人運用していますが、AIを使うのは2工程だけです。残り6つは条件と手順で書けます（AIエージェントのワークフローを組む）。
見積エージェントでも同じでした。AIがやるのはメールを読むことと下書きを書くことだけで、受注できるかの判断は条件表との照合にしています。速いからではなく、理由を説明できるからです。
用途ごとの当てはめ方
当社が実際に使い分けている基準です。モデル名ではなく、用途の性質で決めています。
| 用途 | 選び方 | 当社の運用 |
|---|---|---|
| 大量の定型処理 | 軽量モデルを固定。品質は人が抜き取りで確認 | 解説生成は軽量モデル指定。1件あたり約2〜3円（6回測定） |
| 判断が結果を左右する処理 | そもそもAIに渡さない。条件式で書く | 見積の受注可否は条件表との照合（1件0.001秒未満） |
| 外に出す文章 | モデルより先に検品の工程を決める | 日→英の機械翻訳は品質が公開に耐えないと判断して非公開にした |
| 自社固有の用語が絡む処理 | 自社データの小さな問題セットで足切りする | ベンチマークの順位は参照していない |
3行目が抜けやすいところです。 どのモデルを使っても、外に出す文章は人が読まないと品質が分かりません。当社は英→日の機械翻訳で1,000件超を公開していますが、日→英は載せていません（日→英だけは「載せない」と決めた理由）。
モデルを変えたくなったときに困らないために
一度決めたモデルを後から変える場面は必ず来ます。そのときに困らない条件は2つです。
- モデルの指定が1か所にまとまっているか — スクリプトの中に散らばっていると、変更漏れが事故になります
- どのモデルで作った出力か記録されているか — 記録が無いと、品質が変わったとき原因を切り分けられません
特定のサービスに深く依存する構造のリスクはAIベンダーに依存して身動きが取れなくなる構造に整理しています。
この記事で言えないこと
- モデルの性能比較は当社では実施していません。 順位や推奨モデルは書けません
- どのモデルが優れているかも書きません。 用途と自社の言葉で変わるためです
- 引用したベンチマークはモデル提供者自身による発表で、著者も「絶対的なランキングではない」と述べています
- ここに載せたのは、公開された検証の数字と、自社の運用で起きたことだけです
まとめ
- モデル選びを順位表から始めると外す。54モデルの検証では正答率が25.66%〜82.18%まで開き、下限は4択の偶然正解25%と区別がつかない
- 順位表は自社の言葉を測っていない。業界用語が絡むなら、自社データの小さな問題セットで足切りする
- 選ぶより「指定し忘れない」ほうが事故に直結する。 当社は1行の書き忘れで553件中414件（75%）が失敗し、無関係な処理3本まで止まった
- 決める4つ — その工程にAIが要るか／自社の問題セットを作ったか／モデルを固定して明示するか／処理量の上限を決めたか
- 1番から。 当社は8工程のうちAIを使うのは2工程だけで、残りは条件と手順で書ける
- 用途で使い分ける — 大量の定型処理は軽量モデル固定（1件2〜3円）、判断はAIに渡さない、外に出す文章はモデルより先に検品の工程を決める
- 後で変えられるように、モデルの指定は1か所にまとめ、どのモデルで作った出力かを記録する
費用の全体像はAI導入費用の相場と内訳に、ツール（サービス）そのものの選び方はAIツールの選び方 — 比較表の前に決めることに整理しています。
この記事の立場 株式会社TOEはAI開発・AI活用支援を事業としており、提供する側が書いています。中立の第三者ではありません。モデルの性能比較は自社で実施しておらず、推奨モデルも示しません。 載せているのは公開された検証の数字と、自社の運用で起きたことだけです。
数字の出所 - 1,173問・54モデル・正答率25.66%〜82.18%: TIIが公開したベンチマーク「Alyah」。Falconシリーズ提供者であるTII自身による発表で、著者も「絶対的なランキングではない」と明言しています。TOEでの検証は未実施です - 553件中414件の失敗、解説生成1件2〜3円（6回測定）、見積の判断0.001秒未満、日→英翻訳の非公開判断: 株式会社TOEの実行ログおよび運用記録（2026年7月〜8月） - 上位モデルの出力単価が軽量モデルの5倍前後: 各社の公式料金ページ（2026年7月30日確認）
