ローカルLLM RAGでOOM対策：VQ-Cacheによる量子化キャッシュ
1. はじめに ローカルLLM（Ollama、Qwen2.5 等）でRAGを実行する際に、VRAM の限界を超えて OOM が頻発するケースが多く見られます。これに対処するために、TOAI バーチャルカンパニーは VQ-Cache と呼ばれるリアルタイムベクタ量子化キャッ...
出典: Qiita AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Qiita AIで元記事を読む →
編集部の実践記録から
AI実践室
APIがない管理画面は自動化を諦めるしかないのか — noteの記事公開とメール追加を「ブラウザごと」無人化した実例
APIが用意されていない管理画面は自動化できない、と思われがちです。弊社ではnoteの記事公開とレンタルサーバーのメールアドレス追加を、ブラウザを自動操作するツールで無人化しています。実際のスクリプトを開いて、仕組みと、正直な制約を書きました。
続きを読む →
AEO対策室
主要25サイトのrobots.txtで、AIクローラは拒否されているか許可されているか
ChatGPTやClaudeなどのAIが記事を読みに来るクローラを、主要サイトは許可しているのか拒否しているのか。25サイトのrobots.txtを実際に取得して数えました。拒否していたのは主に新聞社でした。
続きを読む →
失敗の鬼
AIに記事を108本書かせようとしたら、21本中20本に誤りがあった — 修正70箇所の内訳
当社がAIに記事の量産をさせ、完成した21本を全件検証した実測記録です。誤りが1つも無かったのは1本だけ、修正は70箇所を超えました。AIの間違い方には型があります。あなたの会社がAIにブログや提案書を書かせるとき、人間が何を確認すべきかまで書きました。
続きを読む →