par janhq
Open source · 129k downloads · 52 likes
Jan v3 4B base instruct est un modèle de langage compact de 4 milliards de paramètres, conçu comme une base optimisée pour le fine-tuning et l'assistance légère en programmation. Issu d'une distillation post-entraînement à partir d'un modèle enseignant plus large, il conserve des performances générales solides tout en offrant une meilleure capacité à suivre des instructions dès sa sortie. Grâce à sa taille réduite et son architecture efficace, il se distingue comme un point de départ idéal pour des adaptations personnalisées ou des tâches nécessitant une assistance en code. Le modèle excelle particulièrement dans les environnements où la légèreté et la réactivité sont essentielles, tout en restant polyvalent pour une large gamme d'applications. Il est accessible via l'application Jan, qui facilite son déploiement local ou son utilisation en ligne.
Jan-v3-4B-base-instruct is a 4B-parameter model obtained via post-training distillation from a larger teacher, transferring capabilities while preserving general-purpose performance on standard benchmarks. The result is a compact, ownable base that is straightforward to fine-tune, broadly applicable and minimizing the usual capacity–capability trade-offs.
Building on this base, Jan-Code, a code-tuned variant, will be released soon.
This repo contains the BF16 version of Jan-v3-4B-base-instruct, which has the following features:
Intended Use
Jan-v3 demo is hosted on Jan Browser at chat.jan.ai. It is also optimized for direct integration with Jan Desktop, select the model in the app to start using it.
Using vLLM:
vllm serve janhq/Jan-v3-4B-base-instruct \
--host 0.0.0.0 \
--port 1234 \
--enable-auto-tool-choice \
--tool-call-parser hermes
Using llama.cpp:
llama-server --model Jan-v3-4B-base-instruct-Q8_0.gguf \
--host 0.0.0.0 \
--port 1234 \
--jinja \
--no-context-shift
For optimal performance in agentic and general tasks, we recommend the following inference parameters:
temperature: 0.7
top_p: 0.8
top_k: 20
Updated Soon