AIの鬼
#新モデル Zenn AI

Kimi Delta Attention(KDA)についてのアウトプット

イメージ

初めに 題にも書いた通り今回の文章は、KDAについて調べたことや知識のアウトプットです。 わかりにくい文章かもしれませんがご了承ください。 KDA完成までの歴史 1. 【Transformer】(精度は最強だが長文で激重) Transformer機構がDeep Mindによって「Attention is All you need」で発表される。 AI界の革命児。 2. 【Mamba-2】(SSMと線形注意の融合。ヘッド単位のスカラー忘却で高速化) 2024年5月に発表された「状態空間モデル(SSM)」の進化形です。 前作のMamba-1では、GPUにのせにくなどのハ...

出典: Zenn AI(配信元の紹介文より引用)
御社でもAIを使ってみませんか
まずはここから 御社でもAIを使ってみませんか? 御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。 「ChatGPTの使い方」を教えるだけの研修ではありません。 AI研修・AI活用相談 →