結論から書きます。オープンウェイトLLMによる英作文の自動採点は、全体では人手評価と77.79%が完全一致し、二次重み付きカッパ（QWK）0.702という実用的な水準に達していました。しかし同じ結果を書き手の母語で割ると、ドイツ語話者は+0.55、日本語・韓国語話者は−0.34と系統的にずれていました。全体精度は、公平性を保証しません。

何が測られたのか（一次資料の実測）

この記事が扱うのは、LLMによる自動エッセイ採点（AES）に母語バイアスが出るかを検証した研究です（出典：arXiv:2607.14605、2026年7月16日（arXiv:2607.14605v1、cs.CL / cs.CY）、https://arxiv.org/abs/2607.14605v1）。著者はJohn Maurice Gayed氏。

条件を整理します。

  • 評価対象は、TOEFL11コーパスのエッセイ12,100本。11言語グループ×各1,100本という構成
  • 採点モデルはGemma-3-27B-it。LoRA rank 64・scaling 128、Q4_K_M量子化、temperature 0
  • 微調整に使った学習データは480本・2テーマのみ
  • 評価は、学習に含まれない8テーマで実施（いわゆるクロスプロンプト評価）

つまり「学習で見たテーマとは別のテーマの答案を採点させたとき、どこまで人手評価に追いつくか」を測った研究です。学習テーマと評価テーマを分けている点は、実務での使われ方に近い設計だと言えます。

全体の一致度は次のとおりでした。

指標 値 条件
バンド完全一致率 77.79% 12,100本、学習に含まれない8テーマ
二次重み付きカッパ（QWK） 0.702 全体。テーマ別では0.677〜0.730の幅
隣接バンドまで含めた一致率 99.98% 同上
低バンド正答率 57.6% 低バンド1,330本
中バンド正答率 84.9% 中バンド6,568本
高バンド正答率 73.0% 高バンド4,202本

隣接バンドまで含めれば99.98%が一致している、というのは重要な数字です。このモデルは「とんでもなく外す」ことはほぼありません。外すときは1段階分ずれる。ここだけ見れば「実務投入できそうだ」と判断したくなります。

全体精度の裏で何が起きていたか

問題は、この77.79%を書き手の母語で割ったときに現れました。バンド内で標準化したスコアの偏差は、次のようになっています。

母語グループ スコア偏差（バンド内標準化値） 条件
ドイツ語 +0.55 1,100本
日本語 −0.34 1,100本
韓国語 −0.34 1,100本

さらに、欧州系言語話者と東アジア系言語話者のスコア差は+0.21〜+0.33ポイントで、低・中・高いずれのバンドでも一貫して出現しました。「特定のレベル帯だけで起きたノイズ」ではなく、能力水準をそろえたうえでなお残った差だということです。

同じ実力レベルに分類された答案でありながら、ドイツ語話者は高めに、日本語・韓国語話者は低めに評価される。これが12,100本という規模で観測されています。

そしてもう一つ、バンド別正答率の内訳が実務では効いてきます。低バンドの正答率は57.6%と、中バンドの84.9%より27.3ポイント低い。つまりこのモデルは、点数が低い答案ほど正しく判定できていません。

この研究が自分で認めている限界

研究として誠実な書き方がされているので、限界もそのまま記します。ここを読まずに結論だけ持ち出すと、この記事自体が不誠実になります。

  • TOEFL11はバンド（低・中・高）しか公開しておらず、ETS採点者の生スコアが存在しない。そのためRMSE・ピアソン相関・級内相関といった連続量の精度指標が計算できない
  • 母語グループごとのバンド構成が不均衡で、セルによっては極端に少ない。例としてドイツ語の低バンドは15本しかなく、小標本ゆえに信頼性が低い
  • 評価されたモデルはGemma-3-27B-it 1種のみ。観測された母語バイアスがこのモデル固有のものか、LLM採点全般に共通する性質かは、本研究のデータからは判別できない
  • 学習データが2テーマ・480本に限られ、TOEFL11の話題の多様性を十分カバーできていない可能性がある

特に3点目は大きい。「LLM採点は母語バイアスを持つ」と一般化するには、この研究1本では足りません。言えるのは「あるオープンウェイトモデルの構成では、12,100本の規模でこの偏りが観測された」までです。

ただし実務判断としては、それで十分に警告として機能します。1モデルで出たものが他のモデルで出ない保証もまた、どこにもないからです。

中小企業にとって何を意味するか

「TOEFLの採点の話でしょう」で終わらせない方がいい理由があります。この構図は、中小企業がAIを使いたがる場面とそのまま重なるからです。

  • 採用書類のスクリーニング（職務経歴書や志望動機の一次評価）
  • 社内の人事評価・レポート評価の下書き
  • 提案書や報告書の品質判定、社内文書のランク付け
  • 外国籍社員や海外拠点の文書を、日本語や英語のモデルで評価する場面

いずれも「自由記述のテキストを、AIに点数化させる」という点で同じ形をしています。そして今回の研究が示したのは、その形のシステムは、全体精度が高くても属性別に偏りうるということです。

実務に落とすと、次の3点になります。

1. AI評価は必ず属性別・グループ別に切って検証する。 全体一致率77.79%という数字だけを見ていたら、+0.55と−0.34の差には永久に気づきません。導入前の検証で「全体で何％当たったか」しか見ていないなら、それは検証していないのと大差ない。母語、年齢、部署、拠点、職種など、業務上意味のある切り口で必ず割ってください。AI評価の妥当性をどう確かめるかは、自社の評価基準を自分で作るの考え方と地続きです。

2. AIを「落とす判断」に使うのが最も危険。 低バンドの正答率は57.6%。低い評価の答案ほど、モデルは正しく判定できていません。採用の一次スクリーニングでAIに落とさせる、という使い方は、まさにこの最も精度が低い領域で最も取り返しのつかない判断をさせることになります。上位を拾う補助に使い、下位を切る判断は人が持つ。この順序は守るべきです。

3. 少量の微調整で精度は出ても、公平性は出ない。 480本・2テーマという小さな学習データで、QWK 0.702は出ました。「少ないデータでもファインチューニングすれば使える」という話は事実です。ただし同じデータ量で公平性まで担保されたわけではない。精度が出たことと、偏りが無いことは、別々に確かめる必要があります。

そして日本企業にとっては、もう一段近い話でもあります。日本語話者の書いた文章が−0.34側に置かれていた、という結果は、日本語話者の文書を英語ベースのモデルで評価させる構成を採ったとき、自社に跳ね返る可能性を示しています。

TOEの読み筋

先に明記します。TOEでは、この母語バイアスの検証を実施していません。 自社でGemma-3-27B-itを使ったエッセイ採点の再現実験を行ったわけでも、採用スクリーニングにLLM評価を導入して属性別の差を測ったわけでもありません。以下は、公開された一次資料を読んだうえでの読み筋です。

読み筋は3つあります。

第一に、この研究の本当の価値は「バイアスがあった」ことより、「全体指標では見えなかった」という構造にあると考えます。77.79%とQWK 0.702は、AES研究の文脈では十分に良い数字です。良い数字が出ているシステムほど、内部の偏りは検査されないまま運用に入ります。危ないのは精度の低いAIではなく、精度がそこそこ高くて誰も疑わないAIです。

第二に、隣接一致99.98%という数字の扱い方です。これは「大外しはしない」という安心材料に見えますが、逆に言えば誤りが常に1段階分の静かなズレとして現れるということでもあります。明らかな誤判定なら現場が気づきます。1段階だけ低い評価は、誰も異常だと思わないまま蓄積します。−0.34はそういう形で効いてくる数字です。

第三に、中小企業がここから取るべき現実的な一手は、AI評価の全面禁止でも全面導入でもなく、「AIの点数と人の点数を並べて残す期間を作る」ことだと見ています。数か月分の並走ログがあれば、部署別・属性別に割って差を見ることができます。特別なツールは要りません。表計算1枚で足ります。導入初期の進め方については小さなチームでのAI導入も参照してください。

逆に、この研究から言い過ぎてはいけないこともあります。1モデル・1コーパスの結果であり、「LLM採点は全部だめだ」という結論は出せません。そこまで言うのは、この論文が自分に許していない範囲です。

まとめ

  • オープンウェイトLLM（Gemma-3-27B-it）によるTOEFLエッセイ12,100本の自動採点で、人手評価とのバンド完全一致率は77.79%、QWKは0.702、隣接バンドまで含めた一致率は99.98%だった
  • 同じ結果を母語別に割ると、ドイツ語+0.55、日本語−0.34、韓国語−0.34（各1,100本、バンド内標準化値）と系統的な差が出た。欧州系と東アジア系の差は+0.21〜+0.33ポイントで、低・中・高いずれのバンドでも一貫していた
  • バンド別正答率は低57.6%（1,330本）・中84.9%（6,568本）・高73.0%（4,202本）で、低評価帯ほど誤りが多い。AIを「落とす判断」に使うのが最も危険な理由がここにある
  • 本研究は限界を明示している。生スコアが無いためRMSE等が計算できないこと、ドイツ語の低バンドが15本など小標本のセルがあること、評価モデルが1種のみでモデル固有か一般的性質か判別できないこと、学習が2テーマ・480本に限られること
  • TOEでは同種の検証は未実施。そのうえでの読み筋は、全体精度で判断しない・AIと人の評価を並走記録する・下位を切る判断は人が持つ、の3点である