NPUのSystolic Arrayとは？PE Arrayとデータ再利用の仕組み

AI チップが「専用だから速い」というのは、半分だけ正しい。NPU が DRAM アクセスを減らしやすいのは、Systolic Array という独特の配列構造を使っているからだ。GPU のように「メモリ階層を通じてデータを供給する」のではなく、PE（処理エレメント）が格子状に並んでいて、隣同士の PE がデータを流しながら同時に計算する。1回読み込んだデータを、DRAM から毎回取り直すのではなく、局所配線を通じて隣の PE へ渡すことで、1回のロードを複数の MAC（乗算加算）に再利用する。本質は「データ移動をどこで償却するか」という設計思想の違いだ。しかし重要な限定がある。NPU はこの効率を「規則的な行列積」「同じ計算パターンの繰り返し」で出しやすい。言い換えれば、実行時にテンソル形状が変わる処理、複雑な分岐、頻繁なモデル変更といった「予測不可能な計算」になると、NPU の得意な「隣へ流すデータフロー」が機能しなくなり、GPU や CPU の柔軟性が有利になることもある。「AI チップだから万能に速い」という期待は、危険である。中小企業が AI チップの導入を検討するとき、見るべきはベンチマークの数字ではなく「このモデル、この演算パターンに特化した効率はどれだけあるか」という限定性だ。導入コスト、運用コスト、モデル変更時の対応速度、予期しない計算に直面したときの柔軟性—こうした実務的な制約まで含めて判断する必要がある。単に「速度が上がる」ではなく「どういう条件下で、どの程度上がり、何が制限されるか」を理解することが、本当の意思決定になる。