同じAIに同じ作業をさせても、その業務専用の手順書を渡すかどうかで成績が変わります。決済システムの組み込みを題材にした2026年7月16日公開の研究では、手順書を渡した場合に平均で 10.31ポイント 成績が上がりました。これは「どのAIを選ぶか」より「AIに何を渡すか」のほうが効く場面がある、という話です。

何が測られたのか

「Alipay-PIBench」という評価基準を提案した論文です（出典：arXiv:2607.14573、2026年7月16日、https://arxiv.org/abs/2607.14573v1）。

題材は決済連携です。決済の組み込みは、単に画面を作れば終わりではありません。適切な決済商品を選び、利用者側とサーバー側の処理を噛み合わせ、支払いが本当に完了したかを確認し、取引の状態と業務側の状態がずれないようにする必要があります。間違えると金銭事故になる種類の作業です。

研究チームは9つの製品別プロジェクト、18のタスクを用意し、6種類のコーディングAIの成績を測りました。評価は「動いたかどうか」だけではなく、静的チェック・単体テスト・結合テスト・通しテストを組み合わせた採点表（rubric）で行われています。

項目 内容
プロジェクト数 9（製品別）
タスク数 18
評価したAI 6種類
手順書ありの成績 68.58% 〜 91.37%（モデルによる）
手順書による改善 平均 +10.31ポイント

数字の読み方

ここで注意して読む必要があるのが幅です。手順書を渡した状態でも、成績は68.58%から91.37%まで開いています。

  • 最良でも91.37% — 約1割は採点表を満たしません。決済という題材で、この数字です
  • 最低は68.58% — 3割強が要求を満たさない。同じ手順書を渡しても、モデルによってここまで違います
  • 改善幅の10.31ポイントは平均値 — 論文は、効果がモデル・製品・シナリオによって変わると明記しています

つまり「手順書を渡せば解決する」という話ではありません。渡さないより明確に良くなるが、渡しても人間の確認は外せないというのが、この数字が示していることです。

モデル別の成績と、改善幅の内訳

本文には、モデルごとの数字が出ています。

モデル 手順書ありの成績（RPR）
Claude Opus 4.8 91.37%
GLM-5.2 87.12%
Kimi K2.7 Code 82.18%
Qwen3.7-Max 75.78%
DeepSeek-V4-Pro 75.23%
MiniMax M3 68.58%

注目すべきは、改善幅がもっとも大きかったのが最上位モデルではない点です。Kimi K2.7 Code が +15.51ポイントと最大の伸びを示しています。成績の低いモデルほど手順書の効果が大きい傾向があり、これは「安いモデルでも手順を整えれば実用域に入る可能性がある」という読み方ができます。

改善は 108通りの比較（モデル×製品×シナリオ）のうち 101通りで確認されました。ほぼ全面的に効いています。

難易度別では、基本課題で +11.27ポイント、応用課題で +9.35ポイント。難しくなるほど効果はやや薄れますが、それでも効いています。

何が通って、何が通らなかったか

さらに細かく、評価方法ごとの通過率も出ています。ここが実務では重要です。

評価方法 基本課題での通過率
静的チェック（コードとして正しいか） 92.79%
通しテスト（実際に決済が動くか） 78.24%
結合テスト（部品同士が噛み合うか） 73.16%

「コードとしては正しいが、噛み合っていない」という状態が、はっきり数字に出ています。静的チェックは9割超えるのに、結合テストは7割台です。

これは実務の感覚と一致します。AIが書いたものは単体では正しく見える。問題は、既存の仕組みとつないだときに起きます。

もうひとつ示唆的なのが、応用課題での対比です。通しテストは 97.03% と非常に高いのに、AIによる意味的な評価は 61.05% にとどまりました。動くけれども、要求の意図までは満たしていない、ということです。「動いた＝要件を満たした」ではありません。

中小企業にとって何を意味するか

この研究の題材は決済連携ですが、示していることはもっと広く効きます。AIに任せる仕事には、社内固有のルールが必ず付いているからです。

  • 見積書の書式、値引きの決裁ライン、消費税の扱い
  • 顧客への連絡文で使ってよい表現、使ってはいけない表現
  • 発注の締め時間、例外的に許される手順

これらは一般的なAIが知りようのない情報です。知らないまま作業させれば、もっともらしいが自社では通らない成果物が出てきます。研究が示したのは、この差が実際に10ポイント規模で数字に出るということです。

やるべきことは単純です。

  • 口頭で伝えている暗黙のルールを、文章にする
  • その文章をAIに毎回渡す（毎回説明し直さない）
  • 一度きりの指示ではなく、繰り返し使う手順書として保存する

これは高度な技術ではありません。社内マニュアルを作る作業とほぼ同じです。AI導入で最初にやるべきことが「ツール選定」ではなく「暗黙知の文章化」であるのは、このためです。

TOEではどうか

この研究と同じ測定は、TOEでは実施していません。改善幅を自社で数値化してはいない、ということです。

ただし方式としては同じことをしています。TOEでは業務ごとの手順・禁止事項・過去の失敗を文章として保存し、AIに作業させるたびにそれを読ませる運用にしています。たとえば提案書には「英語のラベルを使わない」「特定の装飾を入れない」といった社内ルールがあり、これらは毎回口で言うのではなく文書側に書いてあります。

この運用にしている理由は、効果測定をしたからではなく、同じ指摘を繰り返すのが無駄だったからです。結果として、今回の論文が測ったのと同じ構造になっています。

なお、AI導入の最初の一歩については中小企業がAIで最初にやることを、費用の考え方についてはAIのコスト構造を参照してください。

まとめ

  • 決済連携という失敗の許されない題材で、専用の手順書を渡すとAIの成績が 平均10.31ポイント 改善した（arXiv:2607.14573、2026年7月16日）。108通りの比較のうち101通りで改善
  • ただし手順書ありでも成績は 68.58%〜91.37% と幅があり、人間の確認は外せない
  • 改善幅が最大だったのは最上位モデルではない（Kimi K2.7 Code が +15.51ポイント）。安いモデルほど手順書が効く可能性がある
  • 静的チェック92.79%に対し、結合テストは73.16%。「コードとしては正しいが噛み合わない」が数字に出ている
  • 応用課題では通しテスト97.03%に対し、意味的な評価は61.05%。動くことと要件を満たすことは別
  • 中小企業でも、社内固有のルールを渡さなければ「もっともらしいが自社では通らない成果物」が出る
  • 最初にやるべきはツール選定ではなく、口頭で伝えている暗黙のルールの文章化
  • TOEでは同じ測定は未実施。ただし手順を文書化してAIに毎回読ませる運用は行っている

AI導入の準備作業は、社内マニュアルを書くことと大差ありません。派手ではありませんが、ここが成果を分けます。