par GSAI-ML
Open source · 232k downloads · 96 likes
LLaDA 8B Base est un modèle de langage avancé doté de 8 milliards de paramètres, entièrement entraîné depuis zéro. Conçu pour rivaliser avec des modèles comme LLaMA3 8B, il se distingue par ses performances élevées et son architecture optimisée. Ce modèle excelle dans la génération de texte cohérent et naturel, tout en offrant une grande polyvalence pour diverses tâches linguistiques. Ses cas d'usage incluent la rédaction automatisée, la traduction, l'analyse de données textuelles ou encore l'assistance conversationnelle. Ce qui le rend unique, c'est son équilibre entre puissance et efficacité, permettant une intégration fluide dans des applications nécessitant une compréhension contextuelle approfondie.
We introduce LLaDA, a diffusion model with an unprecedented 8B scale, trained entirely from scratch, rivaling LLaMA3 8B in performance.
[2025-10-21] We have modified modeling_llada.py to support the input of attention_mask.