Kimi Delta Attention(KDA)についてのアウトプット
初めに 題にも書いた通り今回の文章は、KDAについて調べたことや知識のアウトプットです。 わかりにくい文章かもしれませんがご了承ください。 KDA完成までの歴史 1. 【Transformer】(精度は最強だが長文で激重) Transformer機構がDeep Mindによって「Attention is All you need」で発表される。 AI界の革命児。 2. 【Mamba-2】(SSMと線形注意の融合。ヘッド単位のスカラー忘却で高速化) 2024年5月に発表された「状態空間モデル(SSM)」の進化形です。 前作のMamba-1では、GPUにのせにくなどのハ...
出典: Zenn AI(配信元の紹介文より引用)
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
御社でもAIを使ってみませんか
まずはここから
御社でもAIを使ってみませんか?
御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。
「ChatGPTの使い方」を教えるだけの研修ではありません。
AI研修・AI活用相談 →


