構造設計の業務をAIに任せる研究で、汎用のまま使うと成功率56.8%、業務の手順と道具を整えると88.6%まで上がりました。2026年7月16日公開の論文の結果です。差の32ポイントを生んだのはモデルの賢さではなく、業務の型をどう与えたかでした。製造業・建設業でAI導入を検討する場合、ここが判断の分かれ目になります。
何が測られたのか
「StructureClaw」という作業環境と評価基準を提案した論文です（出典：arXiv:2607.14896、2026年7月16日、https://arxiv.org/abs/2607.14896v1）。
論文はまず、構造設計という仕事の性質をこう定義しています。1つの答えを出せば終わりではなく、相互に依存する成果物の連鎖が必要である、と。具体的には以下です。
- 要求の解釈
- 計算可能なモデル
- 検証の記録
- 解析結果
- 法規チェックの記録
- 最終報告書
そして問題を指摘します。従来の評価は「質問に答えられるか」「スクリプトを書けるか」を見ているだけで、この証拠の連鎖が通っているかを検証していない。その結果、業務としては不完全でも、文章として流暢なら高く評価されてしまう、と。
これは実務家にとって身に覚えのある指摘です。それらしい報告書は出てくるが、根拠が追えないという状態のことです。
結果 — 32ポイントの差はどこから来たか
研究チームは150の検証シナリオを用意し、10種類のAIの構成で、同じ50件の標準ケースを評価しました。合格の条件は厳格で、必要なすべての検証項目が1回の実行で通ったときのみ成功とされています。
| 条件 | 平均成功率 |
|---|---|
| 汎用スキルのまま使った場合 | 56.8% |
| 業務の型を整えた場合 | 88.6% |
「業務の型」として与えられたのは、統制された技能・型付けされた道具・共有される成果物の状態・手元の解析基盤です。噛み砕けば、やるべき手順、使ってよい道具、途中の成果物の置き場所、計算そのものを行う仕組みを、AI任せにせず先に決めておいたということです。
モデル別の差は、想像以上に大きい
本文にはモデルごとの数字が出ています。同じ手順を与えても、ここまで開きます。
| モデル | 標準ワークフローの成功率 |
|---|---|
| Kimi-K2.6 | 100.0% |
| DeepSeek-V4-Flash ／ GLM-5.2 | 96.0% |
| Claude Opus 4.8 | 90.0% |
| Gemini 3.5 Flash ／ Qwen3.7-Max | 88.0% |
| GPT-5.5 | 86.0% |
| DeepSeek-V4-Pro | 84.0% |
| MiniMax-M3 | 66.0% |
上位と下位で34ポイントの差があります。手順を整えることは前提として必要ですが、そのうえでモデル選定も効くということです。
工程ごとの精度も出ています。構造種別の判定 98.0%、使う技能の選択 100.0%、解析モデルの対応づけ 90.8%。段取りの部分はほぼ間違えていません。
残っている課題 — ここが正直に書かれている
論文は、うまくいかなかった部分も数字で示しています。
対話的な頑健性の評価（全体 91.0%）では、項目ごとに差が出ました。
| 検証項目 | 成功率 |
|---|---|
| 確認質問を返す | 89.6% |
| 不正なモデルを避ける | 90.7% |
| 不正な数値への対応 | 70.9%（56/79） |
| 複数ターンにわたる更新 | 88.8%（71/80） |
明らかにおかしい数値が入力されたときの対応が、70.9%にとどまっています。現場では、単位の取り違えや桁の入力ミスは日常的に起きます。ここが3割落ちるということは、入力を人間が検算する工程は外せないということです。
図面からの復元では、画像入力で 79.0%（166/210）、DXF形式で 80.0%（72/90）。形式による差はほとんどなく、どちらも約2割は失敗します。
そして論文は、自ら不都合な結果も報告しています。連続梁のケースでは、自動モードが 76.0% だったのに対し、汎用のまま使ったほうが 96.0% と逆転しました。手順を整えたほうが悪化した例です。研究チームはこれを「直感に反する後退」と表現し、単一実行での評価であること、部分集合が小さく統計的な検出力が限られることも限界として明記しています。
つまり88.6%は「もう任せられる」という意味ではありません。入力が想定外のときの振る舞いが、まだ解けていない問題として残っています。
中小企業にとって何を意味するか
構造設計の研究ですが、示していることは業種を選びません。
- AIをそのまま使うと、半分弱は要求を満たさない。 56.8%という数字は、「使ってみたがイマイチだった」という現場の実感とおおむね一致します
- 差を生むのは手順の整備であって、モデルの入れ替えではない。 上位モデルに変えるより、やるべき手順を明文化するほうが効きます
- 「それらしい成果物」がいちばん危険。 根拠が追えない報告書は、間違っていても気づけません
とくに3つ目が重要です。この論文が「成果物中心」の評価にこだわったのは、流暢さで合格してしまう評価は現場では役に立たないからです。同じことが、見積書でも報告書でも起きます。
どこから手を付けるか
- 成果物の連鎖を書き出す。 最終成果物だけでなく、そこに至る途中の記録（検証、根拠、確認）を含めて列挙する
- 各段階で「合格の条件」を決める。 感覚ではなく、通ったか通らないかで判定できる形にする
- 計算そのものはAIにさせない。 論文でも解析は専用の基盤が担っています。AIの役割は段取りであって、計算の正しさの保証ではありません
- 想定外の入力が来たときの動きを決めておく。 ここが残された課題だと論文自身が言っています
同じ構造の話は、決済連携を題材にした別の研究でも確認されています。手順書を渡すと成績が平均10.31ポイント上がったという結果で、AIに手順書を渡すと成績はどれだけ上がるかにまとめました。題材も研究チームも違うのに、効いた要因は同じです。
TOEではどうか
この研究と同じ検証は、TOEでは実施していません。構造設計の業務も扱っていません。
関連して言えるのは、TOEが社内業務をAIに任せる際も、成果物と手順を先に文書化してからでないと使い物にならなかった、という経験です。この点はAIエージェントの基本的な仕組みと合わせてAIエージェントとは何かに整理しています。
なお、この研究の数字をそのまま自社に当てはめることはできません。業務が違えば成功率も変わります。参考にすべきは56.8%や88.6%という値ではなく、手順の整備で30ポイント規模の差がつくという構造のほうです。
まとめ
- 構造設計を題材にした研究で、AIの平均成功率は 汎用のまま56.8%、業務の型を整えて88.6%（arXiv:2607.14896、2026年7月16日）
- 合格条件は厳格で、必要な検証項目がすべて1回の実行で通った場合のみ成功
- 差を生んだのはモデルの賢さではなく、手順・道具・成果物の置き場所を先に決めたこと
- ただしモデル別の差も大きい（Kimi-K2.6 100.0% 〜 MiniMax-M3 66.0%、34ポイント差）
- 不正な数値への対応は70.9%、図面からの復元は約8割。ここは人間の検算が外せない
- 論文は自動化したほうが悪化した例（連続梁：自動76.0% vs 汎用96.0%）と、単一実行・小標本という限界も明記している
- TOEでは同じ検証は未実施。ただし手順の文書化が先という点は自社の経験とも一致する
「AIを入れれば楽になる」ではなく、AIに渡せる形に業務を整理できるかが先にあります。整理できていない業務は、AIに渡しても整理されません。