記憶を持った世界モデルを実装してみた

機械学習の根本的な難しさは「何が学習されたか見えない」にある。この記事は世界モデル（World Models）に記憶を持たせるとき、その検証がいかに綿密かを示している。5×5 の Grid World という最小単位の環境で、GRU（Gated Recurrent Unit）が過去をメモできるかどうかを実験する。部分観測の環境を作る。エージェントの視界は 3×3 のみで、Goal は視界外へ消える。ここで「同じ画像を見ているのに、過去によって正しい答えが異なる」という Alias 問題が生じる。人間なら「さっき Goal は右にあった」と覚えている。GRU も同じように過去をメモに残せるのか。ここが検証の入り口だ。

実験の仕掛けは精妙だ。Pixel MSE（平均二乗誤差）だけでは足りない。背景をきれいに描いて Goal を消してもエラーは小さくなる。これを shortcut と呼ぶ。重要な部分を学んだのではなく、単に簡単な手掛かりで loss を下げたにすぎない。だからこそ Position loss や Goal loss という「重要な意味を別に評価する」仕組みが必要になる。GRU がメモを本当に使っているか、それとも現在画像だけで答えているか。同じ条件下で Memory あり・なしのモデルを比べる。この地道な検証なしに「過去を記憶している」と言えない。この厳密さは、実運用にあるシステム AI にも求められる。チャットボットが「ユーザーの文脈を理解した」と見えても、実は浅い統計パターンマッチングかもしれない。Fine-tuning したモデルが「意図通りに学習した」と思っても shortcut を拾っているだけかもしれない。生成 AI が普及する今こそ、「実装は見えても何が本当に学習されたかは見えない」というこの根本的な問題を実務で意識することが、AI の暴走や誤用を防ぐ鍵になる。中小企業が生成 AI を導入するなら、「便利さ」と同じくらい「本当に何が起きているか検証する姿勢」を持たなければ、後で大きなツケを払う羽目になる。