par trl-internal-testing
Open source · 198k downloads · 0 likes
Ce modèle, nommé "dummy GPT2 correct vocab", est une version simplifiée de GPT-2 conçue pour des tests et des évaluations. Il génère du texte de manière cohérente et naturelle, bien que ses capacités soient limitées par rapport à des modèles plus avancés. Ses principaux cas d'usage incluent la génération de réponses automatiques, la simulation de dialogues ou l'expérimentation avec des architectures de langage. Ce qui le distingue est sa légèreté et sa simplicité, idéale pour des tests rapides sans nécessiter de ressources computationnelles importantes. Il convient particulièrement aux développeurs cherchant à valider des pipelines ou des méthodes d'entraînement.
from transformers import AutoTokenizer, GPT2Config, GPT2LMHeadModel
config = GPT2Config(n_positions=512, n_embd=32, n_layer=5, n_head=4, n_inner=37, pad_token_id=1023, is_decoder=True)
model = GPT2LMHeadModel(config)
tokenizer = AutoTokenizer.from_pretrained("openai-community/gpt2")
model_id = "trl-internal-testing/dummy-GPT2-correct-vocab"
model.push_to_hub(model_id)
tokenizer.chat_template = "{% for message in messages %}{% if message['role'] == 'user' %}{{ ' ' }}{% endif %}{{ message['content'] }}{% if not loop.last %}{{ ' ' }}{% endif %}{% endfor %}{{ eos_token }}"
tokenizer.push_to_hub(model_id)
config.push_to_hub(model_id)