llama.cpp

llama.cpp

Установка в Debian 13

Проект предоставляет Linux-сборку только для процессора. Собрать под NVidia (CUDA) можно самому: https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON -DLLAMA_BUILD_BORINGSSL=ON -DLLAMA_BUILD_LIBRESSL=ON
cmake --build build --config Release --parallel $(($(nproc) / 2))

APP=./llama-cli APP=./llama-server

Запуск

cd ~/Projects/llama.cpp/build/bin ./llama-server ../../../documentation.wiki/ai/LLM/llamacpp_presets.ini -hf