by mlx-community
Open source · 86k downloads · 15 likes
Le modèle Qwen3 30B A3B 4bit est une version optimisée et allégée du modèle Qwen3 30B, conçue pour fonctionner efficacement sur des appareils dotés de ressources limitées. Grâce à une quantification en 4 bits, il offre des performances élevées tout en réduisant significativement l'empreinte mémoire, ce qui le rend accessible pour des déploiements locaux ou sur des machines moins puissantes. Ce modèle excelle dans la génération de texte, la compréhension contextuelle et les tâches de traitement du langage naturel, avec une capacité à gérer des dialogues complexes et des requêtes techniques. Il est particulièrement adapté aux développeurs, chercheurs ou entreprises souhaitant intégrer une IA performante sans recourir à des infrastructures coûteuses. Sa légèreté et son efficacité le distinguent des modèles plus lourds, tout en conservant une qualité de réponse proche des versions originales.
This model mlx-community/Qwen3-30B-A3B-4bit was converted to MLX format from Qwen/Qwen3-30B-A3B using mlx-lm version 0.24.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Qwen3-30B-A3B-4bit")
prompt = "hello"
if tokenizer.chat_template is not None:
messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
messages, add_generation_prompt=True
)
response = generate(model, tokenizer, prompt=prompt, verbose=True)