par meituan-longcat
Open source · 17k downloads · 240 likes
LongCat Image est un modèle de génération d'images open source bilingue (chinois-anglais) conçu pour répondre aux défis majeurs des modèles actuels en matière de rendu textuel multilingue, de photoréalisme, d'efficacité de déploiement et d'accessibilité pour les développeurs. Avec seulement 6 milliards de paramètres, il surpasse des modèles bien plus volumineux sur plusieurs benchmarks, tout en offrant une précision exceptionnelle dans le rendu des caractères chinois et une couverture étendue du dictionnaire chinois. Le modèle se distingue par sa capacité à produire des images d'une qualité photoréaliste remarquable, grâce à une approche innovante de traitement des données et d'entraînement. Il s'adresse aussi bien aux créateurs de contenu qu'aux développeurs cherchant à intégrer une solution performante et économique pour la génération ou l'édition d'images.
We introduce LongCat-Image, a pioneering open-source and bilingual (Chinese-English) foundation model for image generation, designed to address core challenges in multilingual text rendering, photorealism, deployment efficiency, and developer accessibility prevalent in current leading models.
pip install git+https://github.com/huggingface/diffusers
[!TIP] Leveraging a stronger LLM for prompt refinement can further enhance image generation quality. Please refer to inference_t2i.py for detailed usage instructions.
[!CAUTION] 📝 Special Handling for Text Rendering
For both Text-to-Image and Image Editing tasks involving text generation, you must enclose the target text within single or double quotation marks (both English '...' / "..." and Chinese ‘...’ / “...” styles are supported).
Reasoning: The model utilizes a specialized character-level encoding strategy specifically for quoted content. Failure to use explicit quotation marks prevents this mechanism from triggering, which will severely compromise the text rendering capability.
import torch
from diffusers import LongCatImagePipeline
if __name__ == '__main__':
device = torch.device('cuda')
pipe = LongCatImagePipeline.from_pretrained("meituan-longcat/LongCat-Image", torch_dtype= torch.bfloat16 )
# pipe.to(device, torch.bfloat16) # Uncomment for high VRAM devices (Faster inference)
pipe.enable_model_cpu_offload() # Offload to CPU to save VRAM (Required ~17 GB); slower but prevents OOM
prompt = '一个年轻的亚裔女性,身穿黄色针织衫,搭配白色项链。她的双手放在膝盖上,表情恬静。背景是一堵粗糙的砖墙,午后的阳光温暖地洒在她身上,营造出一种宁静而温馨的氛围。镜头采用中距离视角,突出她的神态和服饰的细节。光线柔和地打在她的脸上,强调她的五官和饰品的质感,增加画面的层次感与亲和力。整个画面构图简洁,砖墙的纹理与阳光的光影效果相得益彰,突显出人物的优雅与从容。'
image = pipe(
prompt,
height=768,
width=1344,
guidance_scale=4.0,
num_inference_steps=50,
num_images_per_prompt=1,
generator=torch.Generator("cpu").manual_seed(43),
enable_cfg_renorm=True,
enable_prompt_rewrite=True
).images[0]
image.save('./t2i_example.png')