par GSAI-ML
Open source · 436k downloads · 354 likes
LLaDA 8B Instruct est un modèle de langage avancé de 8 milliards de paramètres, entièrement entraîné depuis zéro, conçu pour rivaliser avec des modèles comme LLaMA3 8B en termes de performance. Spécialisé dans la compréhension et la génération de texte, il excelle dans les tâches d'instruction, offrant des réponses précises et contextuelles adaptées à des demandes variées. Ses capacités principales incluent la génération de texte cohérent, la résolution de problèmes complexes et l'adaptation à des consignes spécifiques, ce qui le rend particulièrement utile pour des applications nécessitant une interaction naturelle avec l'utilisateur. Ce modèle se distingue par son approche innovante, combinant des techniques de diffusion avec une architecture optimisée pour des performances élevées. Il est idéal pour des cas d'usage comme l'assistance conversationnelle, l'automatisation de tâches textuelles ou l'analyse de données linguistiques.
We introduce LLaDA, a diffusion model with an unprecedented 8B scale, trained entirely from scratch, rivaling LLaMA3 8B in performance.
[2025-10-21] We have modified modeling_llada.py to support the input of attention_mask.