À propos

Le modèle small sd est une version allégée et optimisée d'un générateur d'images à partir de texte, conçue pour produire des visuels réalistes à partir de descriptions en langage naturel. Distillé à partir d'un modèle de base performant, il se distingue par sa rapidité et son efficacité, tout en conservant une qualité d'image satisfaisante. Idéal pour des applications nécessitant des rendus rapides ou des ressources limitées, il convient particulièrement aux créateurs de contenu, aux artistes numériques ou aux outils automatisés où la rapidité prime. Sa légèreté le rend accessible sans matériel haut de gamme, tout en offrant des résultats cohérents pour des prompts variés. Ce modèle se positionne comme une alternative pratique aux versions plus lourdes, sans sacrifier entièrement la qualité visuelle.

Documentation

license: creativeml-openrail-m base_model: SG161222/Realistic_Vision_V4.0 datasets:

recastai/LAION-art-EN-improved-captions tags:
stable-diffusion
stable-diffusion-diffusers
text-to-image
diffusers inference: true

Text-to-image Distillation

This pipeline was distilled from SG161222/Realistic_Vision_V4.0 on a Subset of recastai/LAION-art-EN-improved-captions dataset. Below are some example images generated with the finetuned pipeline using small-sd model.

val_imgs_grid

This Pipeline is based upon the paper. Training Code can be found here.

Pipeline usage

You can use the pipeline like so:

Python

from diffusers import DiffusionPipeline
import torch

pipeline = DiffusionPipeline.from_pretrained("segmind/small-sd", torch_dtype=torch.float16)
prompt = "Portrait of a pretty girl"
image = pipeline(prompt).images[0]
image.save("my_image.png")

Training info

These are the key hyperparameters used during training:

Steps: 95000
Learning rate: 1e-4
Batch size: 32
Gradient accumulation steps: 4
Image resolution: 512
Mixed-precision: fp16

Liens & Ressources