結論から：AIの誤りは誤字ではありません。文章としては自然で、読んだだけでは見抜けません。当社は出典を確かめずに記事を作り、24本中23本が実在しない論文でした。別の量産では、検証した21本のうち誤りが1つも無かったのは1本だけで、修正は70箇所を超えました。さらに厄介なことに、これを防ぐために作った検証ツールが長らく「実在しないもの0件」と報告し続けていましたが、実際に確認できていたのは45件だけで、残りは通信制限で落ちていました。検証を仕組みにするときの落とし穴は3つあります。
株式会社TOEはAI開発・AI活用支援を事業としており、この記事は提供する側が書いています。中立の第三者ではありません。他社の事例は扱わず、自社で起こしたことだけを載せます。
実測 — 何がどれだけ間違っていたか
| いつ | 何をしたか | 結果 |
|---|---|---|
| 出典を確かめずに記事化 | 投入リストを作りながら使わず、論文タイトルを手で書いて渡した | 24本中23本が実在しない論文 |
| 記事を108本書かせる計画 | 完成した21本を全件検証 | 誤りゼロは1本だけ。修正70箇所超 |
| 出典の実在を機械で検証 | 全記事に対して実行 | 報告は「実在しないもの0件」。確認できていたのは45件だけ |
3行目が本題です。 検証の仕組みを作ったのに、その仕組み自体が実態と違う報告を出していました。
なぜ読んだだけでは見つからないのか
当社が70箇所超の誤りを原典と突き合わせたところ、間違い方は10種類の型に整理できました。代表的なものを挙げます。
- 出典に存在しない数字を、出典があるかのように書く
- 予想値・見込み値を、実績として書く（原典には「両社予想値」「削減を予定」とあった）
- AIを導入した会社と提供した会社を取り違える
- 出典URLが404（＝執筆時にそのページを開いていない証拠）
共通するのは、どれも文章として自然なことです。 誤字や日本語の破綻なら誰でも気づきますが、この種の誤りは原典と突き合わせない限り見つかりません。型の全体像と実例はAIに記事を108本書かせようとしたら、21本中20本に誤りがあったにあります。
とくに予想値を実績として書く型は、提案書に1つ入るだけで、お客様への説明が事実上の嘘になります。嘘の数字を書いたわけではないのに、意味が変わってしまうためです。
検証を仕組みにするときの落とし穴3つ
「機械で確かめればいい」と考えるところまでは正しいのですが、当社はそこで3回つまずきました。
| # | 落とし穴 | 何が起きたか |
|---|---|---|
| 1 | 既存のチェックが通過してしまう | 重複チェックは、存在しない出典を止められない。存在しないものは重複しないから |
| 2 | 確認できなかったものを「問題なし」に数えていた | 通信制限で大半が落ちていたのに、報告は「実在しないもの0件」 |
| 3 | 成功数だけを報告に出していた | 失敗件数・未確認件数が集計から落ちていて、母数が減っていることに気づけない |
2番が一番危険です。 「0件」という数字は出ています。数字が出ているぶん、誰も疑いません。正しくは「確認できた45件のうち0件」であって、残りは検証されていませんでした。
対処は単純で、報告を3つに分けることでした。
| 報告の区分 | 意味 |
|---|---|
| 確認できた | 実在してタイトルも一致した |
| 実在しない | 問い合わせた結果、存在しなかった |
| 確認できず | 通信制限・障害などで確かめられなかった |
3つ目を独立させると、実態が見えます。 「確認できず」を「問題なし」に混ぜると、検証したという事実だけが残って、中身が空になります。
この型の壊れ方は当社に他にもあり、12件をまとめてあります（AI自動化は「エラーを出さずに止まる」）。数え方そのものの話はAI導入の効果はどう測るかに整理しました。
書かせる前にやること — 順番を変える
当社が採った改善策は、ルールを増やすことではなく順番を変えることでした。
書きながら調べさせると、字数を埋めるほうが主目的になり、裏取りが従属作業になります。 そこで、書く前に出典を確定させ、使う数字を1つずつ「数字カード」に写してから、カードにある数字だけで書かせる方式にしました。
カードに必ず埋める項目は5つです。1項目でも埋まらない数字は使いません。
| # | 項目 | 注意 |
|---|---|---|
| 1 | 数字と原文の引用 | 丸めず、原文の表現のまま写す |
| 2 | 出典URL | 実際に開いて確認したものだけ |
| 3 | 発表主体 | 導入した側か、売っている側か |
| 4 | 種別 | 実績か、見込み・予想値か、目標値か |
| 5 | 条件 | 測定条件があれば必ず書く |
4番が抜けると、予想値が実績に化けます。 当社が一番たちが悪いと感じた型は、ここで止まります。
出す前に確認する3点
全部をやれなくても、AIが書いた文章を使う前に、人がこの3つだけは確認してください。
- その数字の出所はどこか。 出典が書いていなければ使わない。書いてあってもURLを実際に開く。開けなければ使わない
- 実績か、予想か。 原典に「予定」「見込み」「予想値」とあれば、自分の文章にも必ずその言葉を残す
- 誰の発表か。 売っている側の自社調査を、中立な調査のように書かない
1番は「開く」がすべてです。 URLが書いてあることと、そのページが存在することは別です。当社は出典URLが404だった記事を実際に出しています。
量を増やしたくなったときの歯止め
当社がやめたのは「AIに書かせること」ではなく、「確認せずに出すこと」と「本数を目標にすること」の2つです。
「108本」を目標に置いた時点で、埋める圧力が生まれました。同じ理由で、当社は英語→日本語の機械翻訳で1,000件超を公開している一方、日本語→英語は「品質が公開に耐えない」と判断して載せていません。ページ数を稼げる状況で、あえて載せない判断です（日→英だけは「載せない」と決めた理由）。
量が増やせるからという理由で公開ラインを下げると、資産のつもりで負債を積みます。
この記事で言えないこと
- 他社のAI生成物の品質は評価していません。 当社は提供する側で、その立場にありません
- 誤りをゼロにする方法も書けません。 当社も検証の仕組み自体を間違えたばかりです
- どのモデルなら誤りが少ないかも書きません。 当社はモデルの性能比較を実施していません
- ここに書いたのは、自社で起こしたことと、その対処だけです
まとめ
- AIの誤りは誤字ではなく、文章として自然なので読んだだけでは見抜けない。原典と突き合わせない限り見つからない
- 当社の実測 — 出典を確かめずに作って24本中23本が実在しない論文、量産では21本中誤りゼロは1本だけ（修正70箇所超）
- 検証の仕組み自体が嘘をつく。 「実在しないもの0件」と報告していたが、確認できていたのは45件だけだった
- 落とし穴は3つ — 既存チェックが通過する／確認できなかったものを問題なしに数える／成功数だけ報告する
- 対処は報告を3つに分けること — 確認できた／実在しない／確認できず。3つ目を独立させると実態が見える
- 書く前に順番を変える。出典を確定してから「数字カード」に写し、カードの数字だけで書かせる（数字・URL・発表主体・種別・条件の5項目）
- 種別（実績か予想か）が抜けると、予想値が実績に化ける。 提案書ではこれが事実上の嘘になる
- 出す前の3点 — URLを実際に開く／実績か予想かを言葉で残す／誰の発表かを確かめる
- やめるべきは「AIに書かせること」ではなく、「確認せずに出すこと」と「本数を目標にすること」
社内のルールとしてまとめる場合は生成AIの社内ルールに何を書くかに、当社の失敗12件の全体像はAI導入で当社が実際にやらかした12件にあります。
この記事の立場 株式会社TOEはAI開発・AI活用支援を事業としており、提供する側が書いています。中立の第三者ではありません。他社のAI生成物は評価せず、自社で起こしたことだけを材料にしています。検証の仕組み自体の誤りは2026年8月1日に見つけて直したもので、それまでの報告は実態と合っていませんでした。
実測値の出所 - 24本中23本が実在しない論文（2026年7月19日）、21本中誤りゼロは1本・修正70箇所超、検証で確認できたのは45件のみ（2026年8月1日）: 株式会社TOEの作業記録および出典検証ツールの実行結果 - 日→英翻訳の非公開判断、英→日で1,000件超を公開: 自社メディアの運用記録（2026年7月〜8月）
