par K-Compression
Open source · 821k downloads · 0 likes
HyperCLOVAX SEED Think 14B GPTQ est un modèle de langage avancé, optimisé pour des tâches de raisonnement complexe grâce à une architecture quantifiée en 4 bits. Conçu pour allier performance et efficacité, il excelle dans la génération de réponses structurées et nuancées, notamment dans des contextes nécessitant une analyse approfondie ou une réflexion critique. Ses principaux cas d'usage incluent l'assistance à la rédaction, la synthèse d'informations techniques ou scientifiques, et le support décisionnel pour des projets exigeants. Ce qui le distingue, c'est sa capacité à maintenir une qualité de réponse élevée tout en réduisant les ressources nécessaires, grâce à une quantification intelligente des poids du modèle. Idéal pour les environnements où la précision et la rapidité sont essentielles, il s'adresse aux développeurs, chercheurs et professionnels cherchant un outil puissant mais accessible.
This repo contains GPTQ model files for HyperCLOVAX-SEED-Think-14B.
HyperCLOVAX-SEED-Think-14B-GPTQ was quantized using gptqmodel v4.0.0, following the guide.
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "K-Compression/HyperCLOVAX-SEED-Think-14B-GPTQ"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="bfloat16",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
| Model | MMLU (0-shot) | HAERAE (0-shot) |
|---|---|---|
| HyperCLOVA X SEED 14B Think | 0.7144 | 0.8130 |
| HyperCLOVA X SEED 14B Think-GPTQ | 0.7018 | 0.8139 |
The model is licensed under HyperCLOVA X SEED Model License Agreement