par OzzyGT
Open source · 4k downloads · 8 likes
L’IP Adapter pour SDXL est un modèle d’IA conçu pour générer des images à partir de descriptions textuelles tout en intégrant des références visuelles précises. Il permet d’adapter le style, les détails ou les éléments d’une image source pour influencer le rendu final, offrant ainsi un contrôle accru sur la création d’images réalistes ou stylisées. Ses principales capacités incluent la génération de portraits cinématiques, de compositions détaillées ou de scènes complexes en combinant texte et images d’entrée. Ce modèle se distingue par sa compatibilité avec SDXL et son approche modulaire, notamment avec la fonctionnalité de composition multi-images pour des ajustements plus fins. Il est particulièrement utile pour les artistes numériques, les designers ou les créateurs de contenu cherchant à affiner leurs visuels avec des références visuelles externes.
This is just a clone from the original repository with just the SDXL vit-h models and the corresponding image encoder.
Update: Added IP Adapter for Composition to be able to use multi ip adapters (they need to be in the same repository). Original model: https://huggingface.co/ostris/ip-composition-adapter
Made to be used with Image Artisan XL.
Here's some experiments:
prompt: cinematic portrait photo of a woman, against a white background, 4k, highly detailed
| source | 0% noise | 25% noise | 50% noise | 85% noise | 100% noise |
|---|---|---|---|---|---|
![]() | ![]() | ![]() | ![]() | ![]() | ![]() |
| source | 0% noise | 25% noise | 50% noise | 85% noise | 100% noise |
|---|---|---|---|---|---|
![]() | ![]() | ![]() | ![]() | ![]() | ![]() |
prompt: cinematic portrait photo of a woman, against a white background, half body shot, closeup, 4k, highly detailed
| source | 0% noise | 25% noise | 50% noise | 85% noise | 100% noise |
|---|---|---|---|---|---|
![]() | ![]() | ![]() | ![]() | ![]() | ![]() |
| w1 | w2 | w3 | w4 | w5 | bg |
|---|---|---|---|---|---|
![]() | ![]() | ![]() | ![]() | ![]() | ![]() |
| w1(1.0) + w2(1.0) | w1(0.5) + w2(1.0) | w1 (1.0) + w2(0.5) | w1(0.5) + w2(0.5) | w1(1.0) + w2(1.0) + bg(1.0) | w1(0.5) + w2(0.5) + bg(1.0) | w1(0.5) + w2(0.5) + bg(0.5) |
|---|---|---|---|---|---|---|
![]() | ![]() | ![]() | ![]() | ![]() | ![]() | ![]() |
| w1+w2+w3 | w1+w2+w3+w4 | w1+w2+w3+w4+w5 | w1+w2+w3+w4+w5+bg |
|---|---|---|---|
![]() | ![]() | ![]() | ![]() |