par stas
Open source · 309k downloads · 41 likes
Le modèle *tiny random llama 2* est une version allégée et aléatoire du célèbre Llama 2, dérivée du modèle original de 7 milliards de paramètres. Conçu avant tout pour des tests fonctionnels, il ne produit pas de résultats de qualité, ses poids étant générés aléatoirement et son vocabulaire réduit à 3 000 tokens. Il permet de valider rapidement l'intégration d'un pipeline ou d'une application sans nécessiter de ressources computationnelles importantes. Son utilité se limite à vérifier le bon fonctionnement des interactions avec un modèle de langage, sans prétendre à une génération cohérente ou pertinente. Ce modèle se distingue par sa légèreté et sa simplicité, idéal pour des tests préliminaires ou des démonstrations basiques.
This is a tiny random Llama model derived from "meta-llama/Llama-2-7b-hf".
See make_tiny_model.py for how this was done.
This is useful for functional testing (not quality generation, since its weights are random and the tokenizer has been shrunk to 3k items)