自社商品の見たことのないビジュアルを生成AIに指示しても、指示を無視した無難な絵しか出てこない。これは担当者のプロンプトの書き方の問題ではなく、モデルが学習データの多数派に引きずられる構造的な性質です。2026年7月16日公開の研究では、因果推論の考え方でこの偏りを打ち消し、珍しい属性が正しく描けているかのLLM評価を80.0から93.0へ改善しました。
何が測られたのか
Zhengyuan Jiang・Haipeng Liu・Meng Wang・Yang Wang による論文「Rare Concept Generation via Counterfactual Inference in Diffusion Models」です（出典：arXiv:2607.14765、2026年7月16日、https://arxiv.org/abs/2607.14765v1）。ACM Multimedia 2026 に採録予定とされています。
扱っているのは、画像生成AIが珍しい概念の組み合わせを描けない問題です。「毛の生えたタコ」と指示しても、学習データの中でタコは毛が生えていないものが圧倒的多数なので、モデルは無難なタコを出してきます。プロンプトの単語は読まれているのに、モデルが持つ「タコとはこういうものだ」という常識に上書きされてしまう状態です。
研究チームの発想は、この上書きを因果推論の反事実の考え方で分離することです。「珍しいプロンプト」と、対になる「普通のプロンプト」（毛の生えたタコ／タコ）を両方走らせ、その差分を取ることで、珍しさを指定した部分だけが持つ純粋な効果を抽出します。そこに形状の一貫性を保つ TMFA という仕組みを組み合わせています。提案手法は CI-Diff と呼ばれ、モデルの再学習は行わず推論時の処理だけで実現しています。
数字は何を示したか
評価は RareBench という珍しい概念専用のベンチマークで行われ、カテゴリごとに40プロンプトが構成されています。バックボーンは Stable Diffusion 3.5 です。
| 指標 | ベースライン（SD3.5） | CI-Diff 適用後 | 差 |
|---|---|---|---|
| CLIP-T（テキストと画像の一致度） | 31.86 | 32.64 | +0.78 |
| HPSv2（人間の好みの近似） | 29.26 | 30.17 | +0.91 |
| LLM評価（珍しい属性が正しく描けているか） | 80.0 | 93.0 | +13.0ポイント |
| 人間による評価（ユーザースタディ） | 81.0 | 91.5 | +10.5ポイント |
既存の最良手法である R2F（SD3.0 上、LLM 78.0／ユーザー評価 79.0）との比較では、LLM評価で +19.2%、ユーザー評価で +15.8% の改善率が報告されています。ただしこの比較は CI-Diff+SD3.5 対 R2F+SD3.0 であり、土台のモデル世代が揃っていません。改善幅のうちどこまでが手法そのものの寄与かは、この論文からは切り分けられません。
構成要素を1つずつ足していくアブレーション実験では、LLM評価が A（素の SD3.5）80.0 → B（通常のCFGのみ）84.5 → C（TMFA無し）88.0 → D（完全版）93.0 と段階的に上がっています。差分を取る仕組みと形状を保つ仕組みが、それぞれ別に効いていることになります。
業務で使えるかを分けるのは処理コスト
この領域で実務判断に直結するのは、精度よりも1枚生成するのにかかる時間とVRAMです。SDXL 上での比較が報告されています。
| 手法 | 1枚あたり推論時間 | VRAM使用量 |
|---|---|---|
| 素の SDXL | 6.38秒 | 10.49GB |
| RPG+SDXL | 32.62秒 | 35.14GB |
| R2F+SDXL | 38.03秒 | 44.77GB |
| CI-Diff+SDXL | 12.94秒 | 19.69GB |
既存手法は40GB超のVRAMを要求し、これはデータセンター向けGPUの領域です。CI-Diff の19.69GBは、コンシューマ級の上位GPUの射程に入ります。この差が、社内の一台で回せるか外部のGPUを借り続けるかの分かれ目になります。なお使用GPU機種は論文に記載がありません。
一方で、素の SDXL と比べれば推論時間は約2倍、VRAMは約1.9倍です。既存手法より軽いだけであって、コストゼロの改善ではありません。
この論文が認めている限界
論文が自ら示している制約は、実務側から見ると軽くありません。
- 珍しいプロンプトと対になる「普通のプロンプト」を人が手作業で用意する必要があります。「毛の生えたタコ」に対して「タコ」を書く作業で、完全自動ではありません
- 形状の一貫性を保つ TMFA には参照画像が別途必要です。背景除去とCannyエッジ抽出を経た画像を用意する工程が入り、テキストだけで完結しません
- 珍しさを強調する強度パラメータ s_rare は 5 が最適とされる一方、9 まで上げると属性が過剰に出て形状がぼやけます。さらに shape カテゴリだけは最適値が 1 で、カテゴリによって最適値が大きく異なります
- TMFA を効かせるタイムステップ区間も [0.1, 0.9] が最適で、[0.4, 0.6] では悪化します。この設定で property カテゴリのLLM評価は93.9、shape カテゴリは89.5でした
- ユーザースタディの被験者数・属性・実施条件が本文に記載されていません
- 評価は RareBench という珍しい概念専用ベンチマークに限られます。通常業務で使う一般的なプロンプトに適用したときの副作用、つまり普通の画像の品質が落ちないかは検証されていません
パラメータをカテゴリごとに調整しなければ性能が出ない、という点は特に重要です。汎用の1設定で放り込んで済む段階には至っていません。
中小企業にとっての意味
自社で画像生成を試している会社にとって、示唆は3点です。
第一に、指示を無視した無難な絵しか出ないのは担当者の力量の問題ではないということです。モデルが学習データの多数派に引きずられる構造的な原因があり、プロンプトを何十回書き直しても越えられない壁があります。社内で「うまく書けていないからだ」と担当者に責任を寄せる前に、その線を疑う価値があります。
第二に、対処が再学習ではなく推論時の設定変更で進んでいることです。この論文の手法はモデルを鍛え直していません。GPUを買ってファインチューニングに踏み込む投資判断を、いま急ぐ必要はないという読みが立ちます。判断を先送りできる材料です。
第三に、実用ラインは処理コストで決まることです。1枚38秒・VRAM44.77GBは業務のワークフローに乗りません。12.94秒・19.69GBなら乗る可能性が出てきます。この領域の新手法を見るときは、精度の改善幅より先にこの2つの数字を見るのが実務的です。
逆に、汎用の広告写真やありがちな構図しか作らない会社には、この話は関係が薄いと考えてよいと思います。多数派の絵が欲しいなら、モデルの常識バイアスはむしろ味方です。関係があるのは、他にない商品・見たことのない組み合わせを絵にしたい会社に限られます。
AIをどう選ぶかの前提整理はAIツールの選び方、社内での最初の一歩は中小企業のAI導入 最初の一歩にまとめています。
TOEの読み筋
TOEでは未実施です。 CI-Diff の実装を社内で動かした検証はしていません。そのうえでの読みを書きます。
読み筋は、この手法をそのまま導入するかどうかではなく、画像生成の失敗を切り分ける基準として使うことにあります。生成AIで思った絵が出ないとき、原因は大きく「指示の書き方」「モデルの常識バイアス」「そもそも学習データに存在しない」の3つに分かれます。この論文は2つ目が実在し、かつプロンプトの工夫では越えにくいことを数字で示しました。社内で試行錯誤に時間を溶かす前に、どの層の問題かを判断する材料になります。
もう一つの読みは、パラメータ調整の重さです。s_rare をカテゴリごとに調整し、参照画像を用意し、対の普通プロンプトを人が書く。この工数は、月に数枚しか生成しない会社では割に合いません。逆に、商品カタログのように同種のビジュアルを継続的に大量に作る会社なら、一度設定を詰める価値が出ます。生成の頻度と種類の少なさが、投資判断の分岐点になると見ています。
なお、この種の推論時手法は論文発表から商用ツールへの反映まで時間差があります。いま自社で実装するのではなく、使っているツールが同種の機能を載せてきたときに評価できる状態にしておく、というのが現実的な構えだと考えています。
まとめ
- 画像生成AIが珍しい属性の組み合わせを描けないのは、学習データの多数派に引きずられる構造的な性質であり、プロンプトの書き方だけでは越えにくい
- 因果推論の反事実の考え方でプロンプトの純粋な効果を取り出す CI-Diff は、RareBench・SD3.5 でLLM評価を80.0から93.0（+13.0ポイント）、人間の評価を81.0から91.5（+10.5ポイント）に改善した
- 対処は再学習ではなく推論時の処理で行われており、GPUを買ってモデルを鍛える投資判断を急ぐ必要はない
- 実用ラインは処理コストで決まる。既存最良手法の R2F+SDXL は1枚38.03秒・VRAM44.77GB、CI-Diff+SDXL は12.94秒・19.69GB。ただし素の SDXL の6.38秒・10.49GB と比べれば負荷は増える
- 限界も明確で、対になる普通プロンプトの手作業、参照画像の準備、カテゴリごとのパラメータ調整が必要。主要比較はモデル世代が揃っておらず、一般的なプロンプトでの副作用も未検証。TOEでは未実施