MESAの住民の生態系 ── レイキャスト・DINOv2・CLIPで「街を見る目」を作る

MESAは、シミュレーション空間内でエージェントたちが暮らし、判断し、行動する世界だ。この記事の焦点は「その住民たちは何を見ているのか」という、一見当たり前だが実装するとめちゃくちゃ厄介な問いにある。答えは単純なカメラではなく、レイキャスト・DINOv2・CLIPという三層構造で成り立っていた。面白いのは「見ている世界が複数ある」という点だ。配信では美しい3D街並みを見せているのに、学習時にはレイキャストという古典的な幾何計算で一人称画像を作っている。なぜか。GPUの並列性である。4096体を同時に訓練するには、三次元レンダリングのような高級処理では間に合わない。だから「見た目は違えど、学習と本番が一致しているか」を何重にもテストしなければならない。この泥くささこそがAIシステムの実装の本質だ。さらに驚くべきは、DINOv2が「建物の種類」を理解していないという点。出力される384次元ベクトルは「赤茶色の細かい模様」という見た目の記述であって、「ラーメン屋がある」という意味ではない。つまり住民の視覚は、移動判断の微調整に過ぎず、本当の判断は「経路案内」と「障害物センサ」が担っているということだ。AIが「見ている」と思い込むのは危ない。実はそれは数値化された信号に過ぎない。中小企業がAIを導入するときも同じ落とし穴がある。ツールが「見えている」と思い込まず、その判断根拠が何かを追跡する癖をつけておくべきだ。