Apertus 1.5 リリースノート

Apertus 1.5は、第1世代Apertusの継続事前学習版だ。8Bモデルには4兆トークン、70Bモデルには2兆トークンの、テキストと画像・音声を含むマルチモーダルデータを追加し、合計で19兆と17兆トークンになった。画像と音声をテキストと一緒に入力でき、推論してから答える思考モードへの切り替えも加わった。コンテキストウィンドウは262,144トークンで、1.0の4倍に広がっている。重み、データ、価値観、学習の詳細まで公開する姿勢は前作と同じだ。

面白いのは、画像と音声を別の視覚エンコーダーで処理せず、離散トークンとして文章と同じ列に流し込んだ点だ。画像はEmu3.5のトークナイザーで512×512を1,024トークンに変え、音声はWavTokenizerで毎秒40トークンにする。モデルの構造は変えず語彙だけを広げたので、学習はテキストのみのときと同じ速さで回るという。目を後付けするのではなく、辞書に絵の単語を足したという設計で、地味だが工学的にはかなり筋がいい。一方で、出力はあくまでテキストだけだ。見て聞けるが、描いたり話したりはしない。この点を読み飛ばして「マルチモーダル」とだけ覚えると、現場で期待を裏切られる。

中小企業にとっての使い道は、262kトークンの長さを生かして、マニュアルや過去の契約書、仕様書をまとめて読ませる用途だろう。画像入力に対応したことで、現場の図面や写真を読ませる使い方も現実味を帯びた。ただ、重みを自社で動かすには相応のGPUが要る。8Bなら検証用に手元で試す余地があるが、70Bになると現実的には外部の計算資源を借りることになる。機密文書を入れる前に、どこで処理されるかを社内ルールで決めておくのが先だ。まずは公開されている文書を1本読ませて要約させ、精度を確かめるところから始めるのが現実的だ。