ChatGPTは文字を読んでいない？TokenとEmbeddingの仕組みを整理してみた
ChatGPTを使っていると、「本当に文章を理解しているのではないか？」と思うことがあります。 しかし、実際にはLLM（Large Language Model）は、人間のように日本語を読んでいるわけではありません。 私たちが見ている「文字」は、内部では次のような流れで処理されています。 文章 ↓ Token化 ↓ Token ID ↓ Embedding ↓ Transformer ↓ 次のTokenを予測 今回は、生成AIを理解するうえで欠かせない「Token」と「Embedding」について、開発者目線で整理してみます。 Tokenとは何か？ 例えば、次の文章を見てみます。 ...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
安いから中国製モデル、は成立するのか？ 米国政府機関の実測でGPT-5-miniが平均35%安かった
米国商務省NIST傘下のCAISIがDeepSeekの各モデルを実測しました。同等性能に要した費用はGPT-5-miniが平均35%安く、エージェント乗っ取りではDeepSeek最良モデルでも認証情報の窃取が37%の試行で発生。トークン単価ではなく総額と乗っ取り耐性で選ぶべき理由を、評価の立場性と限界も含めて整理します。
続きを読む →
既知の脱獄攻撃を受けると、AIの安全性は39システム中35システムで落ちる？
MLCommonsが公開した脱獄ベンチマークv0.5では、公開・既知の攻撃を加えるとテキスト対テキストの安全性スコアが平均19.81%下がり、39システム中35システムが安全グレードを1段階以上落としました。通常利用の安全性と攻撃下の安全性は別物だという実測を、中小企業の受け入れテストの話に落とします。
続きを読む →
AIエージェントに社内業務をどこまで任せてよいか？ 1時間規模タスクの完遂率5%未満→40%超、一方でテストした全システムに万能脱獄
英国AI安全保障研究所（AISI）が2023年11月〜2025年10月に30以上のフロンティアシステムを評価した報告書を読み解きます。1時間規模の開発タスク完遂率は5%未満から40%超へ。しかし能力と安全対策の強さの相関はR^2=0.097でほぼ無く、テストした全システムで万能脱獄が見つかりました。
続きを読む →