par mlx-community
Open source · 598k downloads · 51 likes
Ce modèle, gpt-oss-20b MXFP4 Q8, est une version optimisée et convertie du modèle openai/gpt-oss-20b, spécialement adaptée pour fonctionner avec la bibliothèque MLX. Il excelle dans la génération de texte, la compréhension contextuelle et les tâches de traitement du langage naturel, offrant des performances élevées tout en restant accessible sur des configurations matérielles variées. Ses principaux cas d'usage incluent la rédaction assistée, l'analyse de données textuelles, la création de contenu et les applications conversationnelles. Ce qui le distingue, c'est son format quantifié (MXFP4 Q8), qui permet une exécution efficace avec une consommation mémoire réduite, sans sacrifier la qualité des réponses. Idéal pour les développeurs et chercheurs cherchant un équilibre entre puissance et accessibilité.
This model mlx-community/gpt-oss-20b-MXFP4-Q8 was converted to MLX format from openai/gpt-oss-20b using mlx-lm version 0.27.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/gpt-oss-20b-MXFP4-Q8")
prompt = "hello"
if tokenizer.chat_template is not None:
messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
messages, add_generation_prompt=True
)
response = generate(model, tokenizer, prompt=prompt, verbose=True)