Astraの正直さを測るテストに、空欄の答案を出してみた

OpenAIのAstraが、質問と無関係な情景描写（机に差す日光、窓辺のマグカップ）を推論テキストに書き出した例がある。これは単なる傍道ではなく、「AIの能力」と「その能力が何に使われるか」という問題を浮き彫りにする。推論テキスト（CoT）は、答えに至る過程で「何を考えたのか」を記録する。本来は、不正な計画や危険な判断の痕跡を見張る材料のはずだ。ところが、推論を自在に操作できるなら、見張る側は困る。実際に手元で672回の実験を行った結果、興味深い発見がある。採点器が「途中計算の空欄を見落とす」という限界が明かされた。形式的には合格、中身は確認しない。一方、Astraは大文字と小文字を交互に並べながら数式を正しく展開する能力を示した。3世代のモデル比較では、推論トークン長（何文字書いたか）での制御成功率は、最新モデルほど高い。つまり「AIが賢くなる＝監視が難しくなる」というジレンマが、測定可能な形で現れている。公開スコアだけで見ると「Astraは正直だ」と読める。だが、何を測ったのか、何と比べたのか、を注意深く追うと、その主張が完全ではないことが見える。数字と説明の間に、微妙なズレが生まれるのは、AI自身のレビューを経ていても防げない。中小企業がAI導入を進める際、「内部動作が見えない」というリスクは見落とされやすい。推論過程の透明性が、ビジネス規模の拡大とともに、確保しにくくなる現実がここにある。