À propos

Qwen3 14B Instruct est une version optimisée pour l'instruction et le fine-tuning du modèle Qwen3, offrant une compatibilité renforcée avec les frameworks d'entraînement comme OpenPipe. Il conserve les capacités générales avancées de son modèle de base tout en améliorant la cohérence des échanges grâce à une gestion explicite des balises de réflexion, garantissant une uniformité entre l'entraînement et l'inférence. Ce modèle excelle dans les tâches de dialogue, la génération de texte structuré et l'assistance conversationnelle, tout en restant accessible pour des adaptations personnalisées. Sa longue fenêtre de contexte (jusqu'à 131 072 tokens) le rend particulièrement adapté aux analyses de documents complexes ou aux interactions prolongées. Ce qui le distingue, c'est son équilibre entre performance brute et flexibilité, idéal pour les développeurs souhaitant affiner le modèle selon leurs besoins spécifiques.

Documentation

Qwen3-14B

Qwen3-14B-Instruct Highlights

OpenPipe/Qwen3-14B-Instruct is a finetune friendly instruct variant of Qwen3-14B. Qwen3 release does not include a 14B Instruct (non-thinking) model, this fork introduces an updated chat template that makes Qwen3-14B non-thinking by default and be highly compatible with OpenPipe and other finetuning frameworks.

The default Qwen3 chat template does not render <think></think> tags on the previous assistant message, which can lead to inconsistencies between training and generation. This version resolves that issue by adding <think></think> tags to all assistant prompts and generation templates to ensure message format consistency during both training and inference.

The model retains the strong general capabilities of Qwen3-14B while providing a more finetuning friendly chat template.

Model Overview

Qwen3-14B has the following features:

Type: Causal Language Models
Training Stage: Pretraining & Post-training
Number of Parameters: 14.8B
Number of Paramaters (Non-Embedding): 13.2B
Number of Layers: 40
Number of Attention Heads (GQA): 40 for Q and 8 for KV
Context Length: 32,768 natively and 131,072 tokens with YaRN.

For more details, including benchmark evaluation, hardware requirements, and inference performance, please refer to our blog, GitHub, and Documentation.

Liens & Ressources