結論から：生成AIのモデル選びを「どれが賢いか」の順位から始めると外します。理由は2つあります。同じ設問に54モデルを当てた検証では、正答率が25.66%〜82.18%まで開き、下限は4択の偶然正解25%とほぼ区別がつきません。つまり順位表は用途を変えると簡単に入れ替わります。そしてもう1つ、モデルは選ぶより「指定し忘れない」ほうが事故に直結します。当社はスクリプトにモデルの指定を書き忘れただけで、553件中414件（75%）を失敗させました。比較表を作る前に決めるべきことが4つあります。
株式会社TOEはAI開発・AI活用支援を事業としており、この記事は提供する側が書いています。中立の第三者ではありません。モデルの性能比較は当社では実施していません。ここに載せるのは、公開された検証の数字と、自社の運用で起きたことだけです。
順位表から始めると外れる理由
公開されているベンチマークの一例です。1,173問・4択で、54モデル（ベース23／指示調整31）を評価したものがあります。
| 区分 | 正答率の範囲 |
|---|---|
| ベースモデル（23） | 27.45% 〜 74.68% |
| 指示調整モデル（31） | 25.66% 〜 82.18% |
| 4択の偶然正解 | 25% |
下限の25.66%は、当てずっぽうと区別がつきません。 そして上位と下位で3倍以上の開きがあります。
さらに、このベンチマークの最大カテゴリは「言語・方言」の619問で、知識量ではなく土地固有の言い回しの解釈を問う設計です。発表しているのはモデル提供者自身であり、著者も「絶対的なランキングではない」と明言しています（大きいモデルなら自社の言葉も通じるのか）。
ここから中小企業が持ち帰れるのは1点だけです。 業界用語や社内独自の言い回しが絡むタスクでは、評判ではなく自社データの小さな問題セットで足切りすること。順位表は自社の言葉を測っていません。
選ぶより、指定し忘れないほうが重要
当社の実測です。一括処理のスクリプトに、どのモデルを使うかを書き忘れました。
| 項目 | 実測 |
|---|---|
| 処理しようとした件数 | 553件 |
| 失敗した件数 | 414件（75%） |
| 巻き添えで止まったもの | 分析処理3本＋社長本人の作業 |
| 原因 | モデル指定の1行の書き忘れ |
指定が無いと、既定の上位モデルが使われます。上位モデルは出力単価が軽量モデルの5倍前後なので、大量処理では利用枠を一気に食い潰します（AI処理414件を失敗させた話）。
技術的に高度な失敗ではありません。1行です。 だから当社はこれをルールにしました。バッチ処理は必ず軽量モデルを明示的に指定する、というものです（生成AIの社内ルールに何を書くか）。
比較表を作る前に決める4つ
| # | 決めること | 決めないとどうなるか |
|---|---|---|
| 1 | その工程に、そもそもAIが要るか | 条件式で書けるものにAIを使うと、遅く・高く・説明できなくなる |
| 2 | 自社の言葉で足切りする問題セットを作ったか | 順位表は自社の業界用語を測っていない。20問でも自作したほうが速い |
| 3 | 使うモデルを固定して明示するか | 指定漏れで既定の上位モデルが使われる。当社は75%失敗した |
| 4 | 処理量の上限を決めたか | 単価×件数で見ないと、1件数円でも月10万件なら数十万円になる |
1番から始めてください。 当社は自社メディアを8工程で毎日無人運用していますが、AIを使うのは2工程だけです。残り6つは条件と手順で書けます（AIエージェントのワークフローを組む）。
見積エージェントでも同じでした。AIがやるのはメールを読むことと下書きを書くことだけで、受注できるかの判断は条件表との照合にしています。速いからではなく、理由を説明できるからです。
用途ごとの当てはめ方
当社が実際に使い分けている基準です。モデル名ではなく、用途の性質で決めています。
| 用途 | 選び方 | 当社の運用 |
|---|---|---|
| 大量の定型処理 | 軽量モデルを固定。品質は人が抜き取りで確認 | 解説生成は軽量モデル指定。1件あたり約2〜3円（6回測定） |
| 判断が結果を左右する処理 | そもそもAIに渡さない。条件式で書く | 見積の受注可否は条件表との照合（1件0.001秒未満） |
| 外に出す文章 | モデルより先に検品の工程を決める | 日→英の機械翻訳は品質が公開に耐えないと判断して非公開にした |
| 自社固有の用語が絡む処理 | 自社データの小さな問題セットで足切りする | ベンチマークの順位は参照していない |
3行目が抜けやすいところです。 どのモデルを使っても、外に出す文章は人が読まないと品質が分かりません。当社は英→日の機械翻訳で1,000件超を公開していますが、日→英は載せていません（日→英だけは「載せない」と決めた理由）。
モデルを変えたくなったときに困らないために
一度決めたモデルを後から変える場面は必ず来ます。そのときに困らない条件は2つです。
- モデルの指定が1か所にまとまっているか — スクリプトの中に散らばっていると、変更漏れが事故になります
- どのモデルで作った出力か記録されているか — 記録が無いと、品質が変わったとき原因を切り分けられません
特定のサービスに深く依存する構造のリスクはAIベンダーに依存して身動きが取れなくなる構造に整理しています。
この記事で言えないこと
- モデルの性能比較は当社では実施していません。 順位や推奨モデルは書けません
- どのモデルが優れているかも書きません。 用途と自社の言葉で変わるためです
- 引用したベンチマークはモデル提供者自身による発表で、著者も「絶対的なランキングではない」と述べています
- ここに載せたのは、公開された検証の数字と、自社の運用で起きたことだけです
生成AIの比較表を、自社の実データで埋めた例
当社はモデルの性能比較をしていません。その代わり、自社メディアを毎日無人で回した生産実績を比較の土台にしています。生成AIの比較表にモデルの順位ではなく自社の実測を置くと、こうなります（すべて2026-09-01時点、当社の実ファイルから自動集計したものです）。
| 項目 | 実測 |
|---|---|
| 収集済みニュース | 3000件 |
| 自社要約つきニュース | 1928件 |
| 本文取得済み | 992件 |
| 記事 | 278本 |
| 1本あたり平均字数 | 約4007字 |
| 記事の増加ペース | 1日あたり約1.3本 |
| 日次の自動更新 | 38日分の記録（最後は2026-09-01） |
| 運用中のAI API課金 | 0円 |
この数字はモデルの賢さではなく、先に決めた4つを守った結果の「量」です。収集も要約も記事も人手を介さず動いており、直近7日で記事は269本から278本へ増えました。278本の内訳は AI解体新書161本／AI仕事術31本／中の鬼26本／AI実践室26本／AEO対策室22本／失敗の鬼12本です。
生成AIの比較表を「どのモデルが賢いか」で作ると、この量は1行も説明できません。当社が毎日見ているのは、決めた運用が止まらずに回っているかどうかだけです。
比較表は、クリックまで並べないと判断を誤ります
同じ比較表でも、並べる列を「表示回数」にするか「クリック」にするかで結論が変わります。当社の直近28日は表示1167回・クリック32回（CTR2.7%）でした。種類別に並べるとこうなります。
| 種類 | 表示 | クリック |
|---|---|---|
| 自社記事 | 183回 | 3件 |
| 集約ニュース | 793回 | 25件 |
| 論文 | 103回 | 0件 |
表示回数だけの比較表なら、論文は103回表示されて3番手に見えます。ですがクリックは0件です。表示されていることと読まれていることは別で、片方の列だけで並べると順位が入れ替わります。生成AIの比較表を自作するときも、モデルの評判という1列で並べず、自社で測れる数字を複数の列で並べたほうが判断を誤りません。
まとめ
- モデル選びを順位表から始めると外す。54モデルの検証では正答率が25.66%〜82.18%まで開き、下限は4択の偶然正解25%と区別がつかない
- 順位表は自社の言葉を測っていない。業界用語が絡むなら、自社データの小さな問題セットで足切りする
- 選ぶより「指定し忘れない」ほうが事故に直結する。 当社は1行の書き忘れで553件中414件（75%）が失敗し、無関係な処理3本まで止まった
- 決める4つ — その工程にAIが要るか／自社の問題セットを作ったか／モデルを固定して明示するか／処理量の上限を決めたか
- 1番から。 当社は8工程のうちAIを使うのは2工程だけで、残りは条件と手順で書ける
- 用途で使い分ける — 大量の定型処理は軽量モデル固定（1件2〜3円）、判断はAIに渡さない、外に出す文章はモデルより先に検品の工程を決める
- 後で変えられるように、モデルの指定は1か所にまとめ、どのモデルで作った出力かを記録する
費用の全体像はAI導入費用の相場と内訳に、ツール（サービス）そのものの選び方はAIツールの選び方 — 比較表の前に決めることに整理しています。
この記事の立場 株式会社TOEはAI開発・AI活用支援を事業としており、提供する側が書いています。中立の第三者ではありません。モデルの性能比較は自社で実施しておらず、推奨モデルも示しません。 載せているのは公開された検証の数字と、自社の運用で起きたことだけです。
数字の出所 - 1,173問・54モデル・正答率25.66%〜82.18%: TIIが公開したベンチマーク「Alyah」。Falconシリーズ提供者であるTII自身による発表で、著者も「絶対的なランキングではない」と明言しています。TOEでの検証は未実施です - 553件中414件の失敗、解説生成1件2〜3円（6回測定）、見積の判断0.001秒未満、日→英翻訳の非公開判断: 株式会社TOEの実行ログおよび運用記録（2026年7月〜8月） - 上位モデルの出力単価が軽量モデルの5倍前後: 各社の公式料金ページ（2026年7月30日確認）
