スタートアップたちがLLMの次の大型トレンドを追う

Transformerという神経回路網アーキテクチャは2017年、Googleの論文「Attention Is All You Need」で発表された。あれから9年、このTransformerが今のすべての大規模言語モデルの核となっている。しかし最近になって、その限界が顕在化し始めた。推論モデルや大規模コンテキスト処理は、Transformerの根本的な欠陥を「パッチで埋める」工夫であり、真の解決策ではない状況だ。Transformerの核となる「密集注意」メカニズムは、テキスト内のすべての単語ペアを相互比較し、その意味を数値エンコードする。このアプローチは精度が高い反面、計算量が膨大だ。1万語のドキュメントなら5千万回の乗算が必要となる。その結果、OpenAIは今年だけで500億ドルを計算に費やし、国際エネルギー機関は2030年までにデータセンターの電力消費が倍増すると予測している。さらにTransformerは大量情報の並行処理が苦手で、コンテキストウィンドウが大きくならない。これはAIエージェントが他システムからの出力を参照したり、推論過程のメモを読み直したりするという、次世代の使用パターンに完全に対応できていないということを意味する。スタートアップたちは今、スパース注意など代替アーキテクチャの開発を進めている。AIの進化は「大手企業による規模の競争」から「新興企業による構造の革新」へと軸足が移りつつあるのだ。中小企業がAIを導入する際も、最新モデルを選ぶだけでなく、そのアーキテクチャが自分たちの課題に適しているかを見極める目が重要になってくる。