par ggml-org
Open source · 97k downloads · 9 likes
Le modèle Qwen2.5 Coder 0.5B Q8 0 GGUF est une version optimisée du modèle Qwen2.5-Coder-0.5B, spécialement convertie pour fonctionner avec le format GGUF, ce qui le rend compatible avec des outils comme llama.cpp. Conçu pour assister dans des tâches de programmation, il excelle dans la génération, la compréhension et la correction de code, tout en offrant des réponses précises et contextualisées. Ses principaux cas d'usage incluent l'aide au développement logiciel, l'automatisation de tâches de codage et l'explication de concepts techniques. Ce modèle se distingue par sa légèreté et son efficacité, permettant une exécution fluide même sur des configurations matérielles modestes, tout en conservant des performances élevées pour des applications liées au code.
This model was converted to GGUF format from Qwen/Qwen2.5-Coder-0.5B using llama.cpp via the ggml.ai's GGUF-my-repo space.
Refer to the original model card for more details on the model.
Install llama.cpp through brew (works on Mac and Linux)
brew install llama.cpp
Invoke the llama.cpp server or the CLI.
llama-cli --hf-repo ggml-org/Qwen2.5-Coder-0.5B-Q8_0-GGUF --hf-file qwen2.5-coder-0.5b-q8_0.gguf -p "The meaning to life and the universe is"
llama-server --hf-repo ggml-org/Qwen2.5-Coder-0.5B-Q8_0-GGUF --hf-file qwen2.5-coder-0.5b-q8_0.gguf -c 2048
Note: You can also use this checkpoint directly through the usage steps listed in the Llama.cpp repo as well.
Step 1: Clone llama.cpp from GitHub.
git clone https://github.com/ggerganov/llama.cpp
Step 2: Move into the llama.cpp folder and build it with LLAMA_CURL=1 flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).
cd llama.cpp && LLAMA_CURL=1 make
Step 3: Run inference through the main binary.
./llama-cli --hf-repo ggml-org/Qwen2.5-Coder-0.5B-Q8_0-GGUF --hf-file qwen2.5-coder-0.5b-q8_0.gguf -p "The meaning to life and the universe is"
or
./llama-server --hf-repo ggml-org/Qwen2.5-Coder-0.5B-Q8_0-GGUF --hf-file qwen2.5-coder-0.5b-q8_0.gguf -c 2048