AIに文書チェックを任せるなら、1つのプロンプトで全部やらせるのと工程ごとに分けるのと、どちらが精度が出るのか？

結論から書きます。工程ごとに分けたほうが精度は出ます。ただし「分けたうえで、工程ごとに手法を変える」ところまでやらないと意味がありません。採点にはファインチューニングが効き、深いコメントには効かないどころか出力が壊れた、という実測が出ています。

何が測られたのか

King's College London、早稲田大学、北京郵電大学、シェフィールド大学、法政大学の研究者らが、論証エッセイの自動採点・フィードバックシステム「WrAFT」を発表しました（出典：arXiv:2607.14524、2026年7月16日（arXiv:2607.14524v1）、https://arxiv.org/abs/2607.14524v1）。

このシステムの設計思想が、そのまま中小企業のAI活用に引き写せます。やっていることは単純で、「エッセイを評価してフィードバックを返す」という一見ひとかたまりの仕事を、3つのモジュールに割ったことです。

• 採点モジュール（スコアを出す）
• 表層フィードバックモジュール（文法・語法の誤りを直す）
• 深層フィードバックモジュール（構成や論証の質にコメントする）

そして、この3つに別々のモデルと別々の手法を割り当てています。採点にはファインチューニングしたGPT-4o、深層フィードバックにはファインチューニングなしのClaude 3.7、という具合です。「全部入りの万能プロンプトを1本書く」のではなく、工程ごとに道具を替えた。ここが読みどころです。

実験データはETSの非公開データセットから取ったTOEFL Independent Writingのエッセイ480本。2つの課題文に均等配分され、スコアは1〜5を0.5刻みで付与されています。この480本を、採点モジュールのファインチューニング用に120本、テスト用に360本へ分割しました。フィードバックの評価にはこれとは別に40本を使っています。

採点モジュール：120本の教師データでどこまで上がったか

採点精度の結果です。テストは360本。

モデル・条件	QWK	RMSE	完全一致	隣接一致
GPT-4o（ファインチューニング）	0.84	0.44	45%	48%
LLaMA-3.3-70B	0.81	0.53	41%	45%
ベースライン	0.78	0.57	33%	52%

QWK（二次重み付きカッパ）は人間の採点との一致度を示す指標で、1.0に近いほど良い。RMSE（二乗平均平方根誤差）は誤差なので小さいほど良い。ベースラインのQWK 0.78・RMSE 0.57に対し、120本でファインチューニングしたGPT-4oはQWK 0.84・RMSE 0.44。人間との完全一致率も33%から45%へ上がっています。

たった120本の教師データで、ここまで動く。これは中小企業にとって現実的な数字です。社内に蓄積された過去の判断事例が100件強あれば、採点・分類の精度は上げられる可能性がある、ということになります。

ただし、ここに不都合な結果があります。隣接一致率（1段階ずれまでを許容した一致率）では、GPT-4oの48%がベースラインの52%に負けています。 完全一致は増えたが、外したときの外し方が大きくなった、と読めます。論文はこの結果を隠していません。精度指標を1つだけ見て「勝った」と言うのは危険だ、という実例です。

フィードバックモジュール：ファインチューニングが逆効果になった場所

表層フィードバック（文法修正）の結果は良好でした。評価用40本から抽出した2,049件の修正提案のうち、人間の評価者が「必要かつ有効」と判定したのは96.14%（1,970/2,049件）。文法誤り訂正（GEC）の観点では、指摘された修正のうち「必要」と判定された割合は96.88%に達しています。しかもこれは高度なファインチューニングなしで、プロンプト設計だけで到達した数字です。

深層フィードバックも数字は出ています。大学教員8名が90本を注釈したデータを基準に評価したところ、構成・論証全体に関するマクロコメントは93.03%（187/201件）が有効と判定され、評価者間一致はAC₁=0.89で有意（p<0.001）でした。細部に関するミクロコメントは94.69%（596/630件）が「必要かつ有効」と判定され、AC₁は必要性0.91、有効性1.00です。

問題はここからです。深層フィードバックでは、ファインチューニングした版のほうが出力欠落や書式崩れを起こし、素のプロンプトに負けました。 少数データでのファインチューニングは、短い定型出力（スコア）には効くが、長く構造化された自由記述には壊れ方のリスクを持ち込む。この一点だけでも、この論文を読む価値があります。

論文が自分で認めている限界

誠実に書かれた論文なので、限界の記述が具体的です。実務で真似する前に、必ずここを読んでください。

• 非公開の単一データセット（ETSのTOEFLエッセイ480本）しか使っておらず、他の自動作文評価（AWE）研究との直接比較ができない
• 評価は精度（precision）のみで、再現率（recall）を測っていない。つまり見逃した誤りが何件あったかは分からない
• 隣接一致率ではファインチューニング版が負けている（48%対52%）
• 学習者の文章が実際に上達したかという時系列の効果検証は一切行っていない
• 課題文付きの論証エッセイに限定され、資料参照型のライティングには対応できない
• LLMのハルシネーションにより、誤りでないものを誤りと指摘するケースが残る
• 商用APIに依存しているため、コスト・持続性・データプライバシーの懸念があると著者自身が明記している

特に2番目と最後の2つは、そのまま中小企業の導入検討リストになります。「96%が有効だった」という数字は、AIが指摘した内容の精度であって、AIが見落とした分は勘定に入っていません。契約書チェックや品質記録の点検にこの発想を持ち込むなら、見落とし側のリスクは別途評価する必要があります。

中小企業にとって何を意味するか

読者の会社に引き写すと、示唆は3つです。

1つめ。AIに任せる業務は、工程に割ってから道具を選ぶ。 「見積書のチェックをAIにやらせたい」を1つのプロンプトで書くと、金額計算の照合と、条件文言の抜け確認と、書きぶりの改善提案が全部混ざります。この論文がやったのは、それを分けて、金額照合には固い手法、書きぶりには自由度の高い手法、と割り当てたことです。工程分割は精度の話であって、単なる整理整頓ではありません。この考え方はAIで業務フローを自動化するときの設計の基本にもなります。

2つめ。ファインチューニングに投資する前に、プロンプト設計で足りるか試す。 文法修正モジュールは96.88%を「高度なファインチューニングなし」で出しています。逆に深層フィードバックではファインチューニングが出力を壊した。少数データのファインチューニングは万能薬ではない、という実証例が同じ論文の中に両方あるわけです。まずプロンプトで試し、それでも足りない定型出力の工程に限ってファインチューニングを検討する。順序はこちらです。

3つめ。商用API依存の限界を、著者自身が書いている。 顧客情報や図面、原価が載った文書を扱う会社が、この構成をそのまま外部APIで組むわけにはいきません。社外に出せない文書の扱いについてはローカルLLMを社内で動かす選択肢を先に検討する必要があります。工程分割の考え方は流用できても、どのモデルをどこで動かすかは自社の条件で決め直すことになります。

TOEの読み筋

前提として、TOEではWrAFTの検証は未実施です。 論文を再現実験したわけでも、TOEFLエッセイを採点させたわけでもありません。以下は論文の数字から立てた読みです。

読み筋としては、この論文の価値は「AWEシステムの提案」ではなく「工程分割の効果が数字で分かれた記録」にあると見ています。採点ではファインチューニングが勝ち（RMSE 0.57→0.44）、深層コメントでは負けた。同一チーム・同一データで、手法の当たり外れが工程ごとに逆転している例は貴重です。

中小企業の現場に置き換えると、狙い目は「判断の粒が細かく、正解が短く、社内に過去事例が100件以上ある業務」です。問い合わせの一次分類、書類の不備チェック、経費の勘定科目仕分けあたりが該当します。逆に、長い文章を生成させる工程は、教師データを集めるより評価基準を言語化してプロンプトに書くほうが早い可能性が高い。ここは自社の評価基準を先に作る話とつながります。

もう一点、実務家として押さえておきたいのは再現率の欠落です。96%という数字は導入判断の場で強く響きますが、測られているのは「指摘した中の正解率」だけです。見落としが許されない業務にAIを入れるなら、精度の数字だけで稟議を通さず、抜けの検証をどう設計するかを最初に決めるべきです。この論文はその設計をしていない、と正直に書いている。そこは信用できる論文だと考えています。

まとめ

• 論証エッセイの自動評価システムWrAFTは、採点・表層修正・深層コメントの3モジュールに分割し、工程ごとに別のLLMと手法を割り当てた（出典：arXiv:2607.14524、2026年7月16日（arXiv:2607.14524v1）、https://arxiv.org/abs/2607.14524v1）
• 採点はTOEFLエッセイ120本のファインチューニングでQWK 0.84・RMSE 0.44に到達し、ベースライン（QWK 0.78・RMSE 0.57）を上回った。テストは360本
• ただし隣接一致率ではGPT-4oの48%がベースラインの52%に負けており、深層フィードバックではファインチューニング版が出力欠落や書式崩れを起こして素のプロンプトに劣った
• フィードバックの人間評価は表層96.14%（1,970/2,049件）、マクロ93.03%（187/201件）、ミクロ94.69%（596/630件）と高いが、測られているのは精度のみで再現率は未測定。見逃し件数は不明
• 著者自身が単一非公開データセット・学習効果の未検証・ハルシネーション・商用API依存によるコストとデータプライバシーの懸念を限界として明記している。TOEではWrAFTの検証は未実施で、以上は論文の数字からの読み