Attention Residualsに関して
https://arxiv.org/pdf/2607.24653 Kimi K3で採用されているAttention Residualsに関してまとめてみた。標準的な残差接続に比べて工夫がなされていることがよく分かる。 引用: https://arxiv.org/pdf/2607.24653 標準的な残差接続の課題 標準的な残差接続の場合l(エル)番目の層において h_l \in \mathbb{R}^d \quad (\text{$d$ 次元の実数ベクトル}) h_{l+1} = h_l + f_l(h_l) dはベクトルの次元サイズ 先行する全層の出力が1本のd次元ベクトル...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
AIエージェントの設定ファイルに一文仕込まれると何が起きるか — 攻撃成功率100%、次のセッションにも87〜97%残る
Claude CodeやCodexがセッションをまたいで読み込むメモリファイルに悪意ある指示が入っていた場合、認証情報の外部送信が最大80%、許可外のツール実行が100%の確率で発生し、そのペイロードは次のセッションにも87〜97%残りました。2026年7月公開の実験結果と、中小企業側の現実的な線引きを整理します。
続きを読む →
LLMで英作文を自動採点すると、書き手の母語で点数が偏るのか（全体一致率77.79%・QWK 0.702の裏側）
オープンウェイトLLMにTOEFLエッセイ12,100本を採点させた研究で、全体のバンド一致率は77.79%、QWKは0.702と実用水準に見えた。だが母語別に割るとドイツ語+0.55、日本語・韓国語−0.34の偏りが出た。全体精度だけを見てAI評価を導入する危うさを、中小企業の実務目線で読み解く。
続きを読む →
複数のAIエージェントを「つなぎ方」で強くできるのか？ プロンプト1文が9.44ポイント効いた実験
16体のLLMエージェントを人間の集団実験と同じ8種類の通信ネットワーク上で走らせた研究。体制図（トポロジー）を変えて得られた差は最大約3ポイント、対してプロンプトに「初回はランダムに選べ」と1文加えた効果は9.44ポイント。多エージェント構成を凝る前に指示文を直すほうが安い、という実務的な示唆が出ています。
続きを読む →