インド系言語の事前学習をスケールさせる：2.8兆トークンとオープンなデータ生成パイプライン

インド系言語の事前学習データとして、NVIDIAとIIT MadrasおよびAI4Bharatが約2.8兆トークンの「Nemotron-pretraining-Indic-v1」を公開する予定だと発表した。対象は インド憲法に定められた22言語で、2011年国勢調査によれば同国民の97%、約12億人が母語とする言語だ。ただし配信元の記事は「近日公開予定」としており、現時点で誰でも使える状態かどうかは別問題である。

AIの鬼の視点で言えば、この発表の本当の値打ちはデータ量そのものより、データを作る「レシピ」まで公開する点にある。多くの企業はモデルの重みは公開しても、どうやって学習データを作ったかは隠す。しかしこのプロジェクトは、プロンプト、LLMの作業手順、品質チェックまで含めて開示し、利用者が自分の原資料で同じ工程を回せるようにした。インドの言語はウェブ上の文章量が英語に比べて圧倒的に少ない。その「データの痩せた土地」で、データを増やす仕組みそのものを共有するという発想は、英語圏の大手が作るデータとは違う方向の回答だ。また、すべての生成文が元になる原文と照合されていると配信元は説明している。作り話が混ざりにくい設計になっているかどうかは、実際にデータを触って確かめるべきところだ。

中小企業にとっての実務的な含意は明快である。日本語も英語に比べれば学習データが少ない言語であり、日本語の業務文書に強いAIを求めるなら、「どのモデルが賢いか」だけでなく「そのモデルが自社の言葉で何を学んでいるか」を確かめる必要がある。今回の話は、少数言語でも自前でデータを増やす道があるという材料になる。社内マニュアルや過去の報告書を整理して自社用の学習データに育てる、という発想は、大企業だけのものではなくなりつつある。