注意機構(Attention Mechanism)
001. 注意機構(Attention Mechanism) Scaled Dot-Product Attention から Multi-Head Attention まで From Scaled Dot-Product Attention to Multi-Head Attention theories/01_foundations/001_attention_mechanism.ipynb 1. 概要 / Overview Transformer の中核である 注意機構(Attention Mechanism) は、系列中の各位置が「他のどの位置の情報をどれだけ参照するか」を...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
定型判断はローカルAIで足りるのか — 330件の仕分けをF1 0.800・1件1.41秒で回した検証は何を示したか
Hugging Face公式ブログが、OpenClawリポジトリのPR・課題の仕分けをローカルの小型モデルで実施した結果を公開しました。330行の評価セットでF1 0.800、1件あたり1.41秒。巨大モデルはF1 0.811とほぼ同等ながら1件144秒。数字の出どころと限界も含めて読み解きます。
続きを読む →
社内資料を読ませたAIエージェントは、外部検索の途中で機密をどれだけ漏らすのか？漏洩率34.0%という実測
ServiceNowが公開したMosaicLeaksは、社内文書を読んだAIリサーチエージェントが外部検索クエリに機密を混入させる度合いを測ったベンチマークです。素のモデルで漏洩率34.0%、「漏らすな」と指示しても25.5%、精度だけを追って学習させると51.7%に悪化しました。社内AI利用の線引きを考える材料になります。
続きを読む →
LoRA以外の追加学習手法は検討する価値があるのか？画像生成でOFTが0.708対0.697、メモリ約1GB減という実測
Hugging Faceが自社のPEFTライブラリで複数の追加学習手法を同一条件で比較しました。画像生成ではOFTがDINO類似度0.708／メモリ9.01GBとなり、LoRAの0.697／9.97GBを精度・メモリの両方で上回っています。一方で本番の推論基盤はLoRA形式しか読めない場合があり、勝つ手法と使える手法は一致しません。
続きを読む →