結論から：修正を入れたら、効いたかどうかを実物で数えてください。当社は検索結果の説明文を直した翌日に対象445件を数え直し、131件（29.4%）に効いていないことを見つけました。原因は修正そのものではなく、修正が前提にしていた条件が3割で成り立っていなかったことです。さらに恥ずかしい話として、それを確認するために書いたコードのほうが、その夜だけで5回間違えました。「数字が出ている」と「正しく数えている」は別です。
株式会社TOEはAI開発・AI活用支援を事業としており、この記事は提供する側が書いています。他社の話ではなく、自社で昨日から今日にかけて起きたことです。
何を直したのか
当社のニュース解説ページは、検索結果に出る説明文が配信元の記事の要約と区別がつかない状態でした。順位2.7位で35回表示されてクリック0、というページもありました（1ページ目に155ページ出ているのに140ページはクリック0だった）。
解説の本文は3段落構成で作っています。
| 段落 | 中身 |
|---|---|
| 1段落目 | 何が起きたのか（事実の言い直し） |
| 2段落目 | AIの鬼の視点 — ここが主役 |
| 3段落目 | 中小企業の実務にどう効くか |
説明文に出していたのは1段落目でした。主役の2段落目は検索結果に一度も出ていません。そこで「2段落目を出す」ように直しました。
ここまでは正しい修正です。 問題はこの後です。
翌日、数え直したら3割に効いていなかった
修正の効果を確かめるため、対象445件の段落数を数えました。
| 段落数 | 件数 | 状態 |
|---|---|---|
| 1段落 | 131件（29.4%） | 2段落目が存在しない → 修正が効かず1段落目が出る |
| 2段落 | 4件 | |
| 3段落 | 284件 | 正常 |
| 4段落以上 | 26件 | 正常 |
131件には、2段落目そのものがありませんでした。 修正は「2段落目がある」ことを前提にしていましたが、その前提が3割で成り立っていなかったのです。
内訳を切り分けると、原因は2つでした。
| 原因 | 件数 | 対処 |
|---|---|---|
| 段落の区切りが空行ではなく改行1つだった（中身は3段落ある） | 20件 | 表示側で拾えるよう修正 |
| 改行が1つも無い。 生成が「2〜4段落で書く」という指示に従っていない | 111件 | 解説を作り直し |
後者が本題です。 指示には段落数を明記していました。それでも29.4%が従っていませんでした。当社は以前にも、指示に「検索で裏を取れ」と書いてあったのに21本中20本に誤りが出た経験があります（AIに記事を108本書かせようとしたら）。「指示に書いたから守られる」は成り立ちません。
作り直した結果
その場で111件を作り直しました。3回に分けて、合計183件ぶんの生成をかけています。
| 回 | 対象 | 複数段落になった | 1段落のまま | 生成に失敗 |
|---|---|---|---|---|
| 1回目 | 111件 | 59件 | 20件 | 32件（29%） |
| 2回目 | 52件 | 32件 | 8件 | 12件（23%） |
| 3回目 | 20件 | 8件 | 12件 | 0件 |
説明文に2段落目（独自の視点）を出せる解説は、314件(70.6%) → 433件(97.3%) になりました。
ここで2つ、想定していなかったことが出ました。
1つ目は、生成そのものが2〜3割失敗していたことです。 単発で試すと再現せず、間欠的でした。1〜2回目は、当社が並行して別のAI呼び出しをしていた時間帯と重なっています。3回目はそれを止めた状態で回して失敗0件でした。大量に生成させるときは、同じ枠で他のことをさせない — これが実務的な結論です。
2つ目は、3回作り直しても1段落のままの記事が12件残ったことです。 素材の長さ（中央値134字 対 全体145字）も解説の長さ（618字 対 642字）も全体とほとんど変わりません。「素材が薄いから短くなった」では説明がつきませんでした。生成側の癖と判断して、ここで打ち止めています。無限に回しても収束しないものがある、というのも実測です。
その夜、数えるコードのほうが5回間違えた
ここからが正直に書いておきたいところです。上の確認をしている同じ夜に、数えるコードのほうが5回間違えました。
| # | 出た数字 | 正しくは | 何を間違えたか |
|---|---|---|---|
| 1 | 記事61本が要件を欠く | 27本 | 太字の「**結論」だけを探していて、「結論から書きます。」で始まる記事を全部見落とした |
| 2 | 参照されていない調査が8本 | 5本 | /articles/… 形式だけを探し、../… の相対リンクを数え落とした |
| 3 | 222本すべてが未参照 | 実際は94本に参照あり | ファイル名の扱いを取り違え、照合が全部外れた |
| 4 | AEO記事に導線が無い | 仕様どおり付いている | 探していたパラメータを、その導線は持たない設計だった |
| 5 | 論文12ページが検索用の索引に無い | 全部載っていた | 照合するときにファイル名のドットを削っていて、別物として突き合わせていた |
5件とも、出てきた数字が極端でした。 61本・8本・222本すべて・導線ゼロ・12ページ全滅。そして5件とも、数える側の間違いでした。
1と3と5は、実物を数件開いて初めて気づきました。2と4は、実装のコードを読んで気づきました。画面に出た数字を見ているだけでは、どれも見つかりません。
そして5件目は、上の4件を記事にした後に出ました。「気をつけよう」と書いた直後にもう1回やっています。
ここから持ち帰れること
| # | 教訓 | 具体的に |
|---|---|---|
| 1 | 修正したら、効いた件数を数える | 「直した」で終わらせない。当社は3割に効いていなかった |
| 2 | 修正が前提にしている条件を確かめる | 「2段落目を出す」は「2段落目がある」が前提。そこが3割で崩れていた |
| 3 | 極端な数字が出たら、まず数え方を疑う | 0件・全部・想定の2倍。実物を数件開けば、たいてい数え方の誤りだと分かる |
| 4 | 指示に書いたことは守られない前提で組む | 段落数を指定しても29.4%が従わなかった。後から機械で数えて弾く工程が要る |
3番が今回いちばん効きました。 5件とも「この数字はおかしい」と思って実物を開いたり実装を読んだりしたから見つかっています。逆に、もっともらしい数字が出ていたら、そのまま信じていたはずです。
同じ型の壊れ方（数字は出るのに実態と合わない）を12件まとめたものがAI自動化は「エラーを出さずに止まる」に、測り方そのものの整理がAI導入の効果はどう測るかにあります。
この記事で言えないこと
- 直した結果クリックが増えた、とはまだ書けません。 検索データは2〜3日遅れて集計されるため、効果が見えるのは数日後です
- 作り直しで文章の質が上がったかは、まだ測れていません。 確認できたのは段落の数だけです。クリックが増えたかどうかは数日後にしか分かりません
- 数え間違いをゼロにする方法も書けません。 当社は一晩で5回やりました
- ここに書いたのは、昨日から今日にかけて自社で起きたことだけです
まとめ
- 説明文を「2段落目（独自の視点）を出す」ように直したが、翌日に数え直したら445件中131件（29.4%）に効いていなかった
- 原因は修正そのものではなく、修正が前提にしていた「2段落目がある」が3割で成り立っていなかったこと
- 内訳は、改行の書式が違うだけ20件と、生成が段落数の指示に従っていない111件
- 111件を3回に分けて作り直し、314件(70.6%) → 433件(97.3%) になった
- 生成そのものが2〜3割失敗していた。 並行して別のAI呼び出しを止めた3回目は失敗0件。大量生成中は同じ枠で他のことをさせない
- 3回作り直しても1段落のままが12件残った。 素材の長さも解説の長さも全体と変わらず、素材のせいでは説明がつかない。回しても収束しないものがある
- 「指示に書いたから守られる」は成り立たない。 段落数を明記しても29.4%が従わなかった
- 同じ夜に、数えるコードのほうが5回間違えた（61本→27本／8本→5本／222本全部→94本に参照あり／導線ゼロ→仕様どおり有り／論文12ページ全滅→全部載っていた）
- 5件とも出てきた数字が極端で、5件とも数える側の誤りだった。 しかも5件目は、この記事に4件と書いた後に出た
- 持ち帰れるのは4つ — 効いた件数を数える／修正の前提を確かめる／極端な数字が出たら数え方を疑う／指示は守られない前提で機械の検査を入れる
- 実物を数件開くのが一番早い。 画面に出た数字を見ているだけでは、どれも見つからない
この記事の立場 株式会社TOEはAI開発・AI活用支援を事業としており、提供する側が書いています。他社の事例ではなく、2026年8月1日から2日にかけて自社で起きたことをそのまま載せています。修正の効果（クリックが増えたか）はまだ測れていません。
実測値の出所 - 解説445件の段落数、131件・20件・111件の内訳: 株式会社TOEが運用する ai-oni.com のデータを集計（2026年8月2日） - 数え間違い5件: 同日の作業記録
