RTX 5060 Tiを追加購入する直前に、RTX 4070 Ti SUPER 16GB単体でQwen 3.8 27Bを試してみた
こんにちは。miharubaの池谷です。 最近、ローカルLLM用にGPUをもう1枚買い足そうか、本気で悩んでいました。 今使っているGPUはRTX 4070 Ti SUPER 16GBです。Qwenの27Bモデルを長いコンテキストで使おうとすると、モデル本体だけでなくKVキャッシュにもVRAMが必要になります。16GBでは足りなくなる場面がありそうなので、RTX 5060 Ti 16GBを追加して、2枚のGPUにモデルやKVキャッシュを分散させる構成を考えていました。 AmazonでRTX 5060 Ti 16GBを購入する直前まで行き、ケースには2枚目のGPUが収まらないため、PCIe...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
noteを2アカウント無人投稿していて、一番怖いのは「誤爆」だった ― 公開直前にログイン名を照合して、違ったら止める
当社はnoteを「補助金の鬼」「AIの鬼」の2アカウントで無人運用しています。ブラウザ自動操作での投稿で一番怖い事故は、失敗ではなく「別のアカウントに投稿してしまう誤爆」です。それを防ぐために、公開の直前にいまログインしているユーザー名を取得し、期待する名前と照合して、違えばその場で止める仕組みを入れています。正直な弱点も含めて、その設計を記録します。
続きを読む →
発注クエリで引用される製品・サービスページの書き方 — 引用された箇所を12サイト分読んで分かったこと
「アルミの切削加工を小ロットで頼める工場を福岡県で」のような発注クエリで、AIが引用したのは材質・板厚・数量・工程が書かれた箇所でした。抽象的なキャッチコピーの箇所は引用されていません。実測で引用された文の型を並べます。
続きを読む →
検索データはまだゼロ。それでも「毎週勝手に取りに行く配管」を先に作った理由
当メディア ai-oni.com の検索パフォーマンスを、Google Search ConsoleのAPIから毎週・無人で自動取得する仕組みを作りました。先に正直に書きます。肝心の検索クエリのデータは、まだ「0件」です。成果はまだ何も語れません。それでも公開直後のいま配管を先に作ることに意味がある、という記録です。
続きを読む →