P100向けにllama.cppをビルド
とりあえずメモ # 必要なツールをインストール # 特にopensslはhuggingfaceから直pullする場合に必須 sudo apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y # リポジトリをクローン git clone https://github.com/ggml-org/llama.cpp # CMAKE_CUDA_ARCHITECTURESでCCを60で指定必須 cmake . -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=60 ...
出典: Zenn AI(配信元の紹介文より引用)
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →


