株式会社TOEは、AIに記事を108本書かせる計画を実際に走らせました。完成した21本を全件検証した結果、誤りが1つも無かったのは1本だけ。修正は70箇所を超えました。 しかも執筆時の指示には「検索で裏を取れ」「確認できない事例は書くな」と明記してあったのに、です。

この記事は、その失敗の実測記録です。何がどう間違っていたのかを型として公開し、最後に「あなたの会社がAIに文章を書かせるとき、人間は何を確認すべきか」に落とします。

何をやって、どうなったか

やったことは単純です。「AIに関するオリジナル記事を108本、3000字、画像つきで作る」という指示に対し、AIの執筆エージェント（自動で調べて書くAIの実行単位）を並列で走らせました。

項目 実測値
目標本数 108本
完成 21本（途中で停止）
1本あたりの執筆時間 約10分
検証した記事 21本
誤りが1つも無かった記事 1本
修正箇所 70箇所以上
検証にかかった時間 約10分/本（執筆と同じだけかかった）

重要な条件を先に書いておきます。執筆時のプロンプト（AIへの指示文）には、次の制約を明記していました。

  • 「検索で裏を取る」
  • 「出典URLを記事内に明記する」
  • 「確認できない事例は書かない」

指示してあっても、この結果になりました。 ここがこの記事の要点です。「ちゃんと指示すれば大丈夫」は成り立ちませんでした。

AIの間違い方には「型」がある

70箇所超の誤りを検証チームが原典（元の発表資料）と突き合わせたところ、間違い方は10種類の型に整理できました。すべて実際に出たものです。社名を伏せて代表例を挙げます。

型1：出典に存在しない数字を、出典があるかのように書く。 最も危険な型です。ある経費精算サービスの事例で「月500件、1件14〜15分、週20時間が週3時間に」と書かれていましたが、出典として示されたページにこの数字は存在しませんでした。 ある大手EC企業の物流の事例でも「スループット最大25%向上」とありましたが、公式リリースにその記載はありません。「AIプロジェクトの約8割がビジネス価値創出に至らない」という、いかにもありそうな統計も出典がありませんでした。検索結果に出る短い抜粋だけを見て、残りを推測で埋めていたのです。

型2：予想値・見込み値を、実績として書く。 ある物流会社の「最大20%削減」は、原典には「両社予想値」と明記された導入前の見込みでした。ある大手メーカーの「5万5千時間削減」も、原典は「削減を予定」。つまりまだ達成していない数字です。読者は達成済みの実績だと受け取ります。嘘の数字を書いたわけではないのに、意味が変わってしまう。これが一番たちが悪い型でした。

型3：主体の取り違え。 AIを「導入した会社」と「提供した会社」が逆になる。社内ヘルプデスク向けの事例が「社外の顧客対応」として紹介される。事例の意味そのものが変わります。

型4：存在しない社名を書く。 実在しない社名を、旧社名の説明つきでもっともらしく創作した例がありました。

型5：出典URLが404（リンク切れ）。 URLを載せているのに開けない。執筆時にそのページを開いていなかった証拠です。

このほか、出典元の媒体を取り違える（型6）、ツール販売元の自社調査を中立な調査のように書く（型7）、「静かな会議室・マイクから1m」といった理想条件を落として精度の数字だけ書く（型8）、原典にない因果関係を断定する（型9）、制度・料金の読み違い（型10）がありました。

共通するのは、どれも文章としては自然で、読んだだけでは見抜けないことです。誤字や日本語の破綻なら誰でも気づきます。この10種類は、原典と突き合わせない限り見つかりません。

なぜ指示していたのに起きたのか

ルールが無かったからではありません。社内の記事作成ルールには「一次資料に当たる」「条件を添える」「又聞きで数字を書かない」と既に書いてありました。原因は工程の設計にあった、というのが検証後の結論です。

原因 何が起きたか
書きながら調べさせた 「3000字書く」が主目的になり、裏取りが従属作業になった。字数を埋めるために推測が入る
検索の抜粋だけで書けてしまう 原典を開かなくても、それらしい記事は書ける。「開いたかどうか」を検査していなかった
本数を先に決めた 「108本」が目標になった時点で、埋める圧力が生まれた
検証が後付けだった 工程に組み込まず、書き終わってから別途走らせた
モデルを下げた 量産のため速くて安いモデルを使った。誤りはそこに集中した

最後の行は補足が要ります。21本の内訳は、速くて安いモデルで量産した17本と、高性能なモデルで自社の実測データをもとに書いた4本でした。誤りが集中したのは、安いモデルで他社事例を扱った17本です。 自社データの4本では大きな誤りは出ておらず、むしろ執筆したAIのほうから「指示にあった『毎朝7:47』は、実際の設定を確認したら8:00でした」と訂正が入ったほどでした。

この対比から言えることが2つあります。

  • 量産のためにAIのモデル（性能グレード）を下げると、品質ははっきり落ちる。 下げるくらいなら本数を減らすべきでした
  • 自社の一次データは誤りにくい。 原典が自分の手元のログや記録で、確認が容易だからです。危ないのは「よそで読んだ話」をAIに書かせるときです

あなたの会社でAIに文章を書かせるとき

ここからが本題です。ブログ、提案書、営業資料、社内向けの説明資料。中小企業がAIに文章を書かせる場面は、弊社の記事量産と構造が同じです。そして上の10種類の型は、そのまま起きます。特に提案書は、型2（予想値を実績と書く）が1つ入るだけで、お客様への説明が事実上の嘘になります。

弊社が改善策として採ったのは、ルールを増やすことではなく、順番を変えることでした。書く前に出典を確定させ、使う数字を1つずつ「数字カード」に写してから、カードにある数字だけで書かせる方式です。カードには次の項目を必ず埋めます。1項目でも埋まらない数字は使いません。

  • 数字と原文の引用（丸めず、原文の表現のまま写す）
  • 出典URL（実際に開いて確認したものだけ）
  • 発表主体（導入した側か、売っている側か）
  • 種別（実績か、見込み・予想値か、目標値か）
  • 条件（測定条件があれば必ず書く）

全部をここまでやれなくても、AIが書いた文章を使う前に、人間が最低限この3点だけは確認してください。

  1. その数字の出所はどこか。 出典が書いていなければ使わない。書いてあってもURLを実際に開く。開けなければ使わない
  2. 実績か、予想か。 原典に「予定」「見込み」「予想値」とあれば、あなたの文章にも必ずその言葉を残す
  3. 誰の発表か。 導入企業の発表か、ツールを売る側の発表か。売る側なら「同社によると」を付ける

3点とも、専門知識は要りません。要るのは「原典を開く」という手間だけです。弊社の実測では検証に1本約10分かかりました。執筆と同じだけの時間です。AIで文章作成が10分になっても、確認の10分は消えない。 これがAI活用の実際の原価だと考えたほうがいいです。

なお、出典先行方式に変えると1本あたり約30分かかる想定になり、108本なら約50時間です。それだけかけても型が完全に消える保証はありません。弊社はこの実測を踏まえ、本数を追うのをやめました。よその情報の再編集を量産するより、自社でやってみた記録を少なく確かに書くほうが、誤りが出ず、他社に書けない内容になるからです。この記事自体が、その方針で書いた1本です。

関連する記録

まとめ

  • AIに記事を108本書かせる計画は、21本の時点で検証し停止。誤りゼロは1本だけ、修正は70箇所超でした
  • 「裏を取れ」と指示してもAIは、出典に無い数字を出典があるかのように書き、予想値を実績のように書きます。文章は自然で、読んだだけでは見抜けません
  • 誤りが集中したのは、安いモデル×他社事例の組み合わせ。自社の一次データを扱った記事では大きな誤りは出ませんでした
  • 対策はルールの追加ではなく順番の変更。書く前に出典を確定し、確認済みの数字だけで書かせる
  • 人間が最後に確認すべきは3点。数字の出所・実績か予想か・誰の発表か

AIに書かせること自体は、弊社は今もやめていません。やめたのは「確認せずに出すこと」と「本数を目標にすること」です。この2つをやめるだけで、AIは危険な道具から実用の道具に変わります。

自社でのAI活用の進め方に迷ったら、AI導入のご相談からお問い合わせください。実際にやって失敗した弊社が、失敗ごとお話しします。