Illustrious, um modelo de texto para imagem baseado no Stable Diffusion XL, tornou-se tão dominante na comunidade artística de IA que Civitai, o maior centro de modelos artísticos de IA, tem um grande ecossistema de recursos que tive que criar um separado. categoria apenas para lidar com isso.
E tudo aconteceu em 3 meses. Qual é o segredo do seu sucesso? Um retorno ao básico com um toque diferente.
Embora modelos mais recentes, como SD 3.5 e Flux, dependam de longas descrições em linguagem natural, o ilustre desenvolvedor Onoma AI adota uma abordagem diferente, aproveitando as tags Danbooru para colocar as rodas em movimento com sistemas de legenda complexos.
Treinar seu modelo na vasta biblioteca de imagens de anime marcadas de Danbooru oferece uma vantagem na compreensão de conceitos visuais.
Cada tag no sistema Danbooru representa um elemento específico do personagem, como características, roupas, pose, plano de fundo, etc., dando a você controle preciso sobre a imagem gerada sem desperdiçar tokens valiosos em descrições longas.
Essas tags existem há anos e se tornaram uma espécie de padrão para classificação de imagens entre entusiastas de arte e anime.
Este modelo é muito preciso e eficiente na compreensão dos recursos fotográficos.
“É como ter um artista que entende exatamente o que você quer sem ter que explicar em parágrafos”, diz Discord, que faz parte de um servidor focado em conteúdo de IA do NSFW, disse Vishnu. descriptografia. “Você só precisa saber a etiqueta correta.”
Em sua essência, Illustrious usa a boa e velha arquitetura SDXL com um sofisticado sistema de codificador duplo que combina CLIP ViT-L e OpenCLIP ViT-bigG para compreender palavras e associá-las a seus equivalentes visuais.
Este modelo é capaz de processar e produzir imagens com uma resolução impressionante de 1536 x 1536, que pode ser ampliada para 2048 x 2048 e até 3744 x 3744 sem perda significativa de qualidade.
A propósito, o SDXL original suportava resolução Full HD (1024×1024).
descrição detalhada
A jornada para criar Illustrious foi metódica e deliberada. A primeira fase de treinamento, que produziu a versão 0.1, processou 7,5 milhões de imagens com tamanho de lote de 192 imagens por lote com resolução de 1024 × 1024.
A equipe equilibrou cuidadosamente a taxa de aprendizagem e a executou ao longo de 20 épocas (um processo em que a IA aprende 100% do conjunto de dados) para estabelecer uma base sólida. Se os resultados fossem suficientemente satisfatórios, a equipe aumentava o tamanho do conjunto de dados e aumentava a resolução usada na próxima iteração.
No estágio de treinamento avançado, Illustrious realmente começou a brilhar. A versão 1.0 expande o conjunto de dados para 10 milhões de imagens e aumenta a resolução para 1536×1536.
Embora o tamanho do lote tenha sido reduzido para 128, foram introduzidas estratégias avançadas de manipulação de tags e tokens de registro, mudanças fundamentais que definem o desempenho superior do modelo.
Trabalho adicional foi realizado na fase final de refinamento da versão 2.0. Trabalhando com 20 milhões de imagens na mesma alta resolução e um grande tamanho de lote de 512, a equipe incorporou uma técnica de múltiplas legendas que melhorou drasticamente a correspondência entre texto e imagem.
O resultado é o melhor gerador de esposas conhecido pelo homem, com excelentes capacidades de ajuste fino, conformidade rápida, estética elegante e resultados de alta qualidade.
Para os mais experientes em tecnologia, os desenvolvedores da Illustrious também introduziram uma série de técnicas interessantes, como a abordagem “No Dropout Tokens”, que garante que certos tokens nunca sejam deixados de fora durante o treinamento. Implementação de tokens de quase-registro para permitir que os modelos lidem com conceitos desconhecidos ou estranhos. Programador de recozimento de cosseno para taxa de aprendizagem. Sistemas de dropout multinível e aumento de ruído de perturbação de entrada transformam modelos simples de IA em modelos poderosos.
Como usar o Ilustre
Nenhuma etapa adicional é necessária para executar o Illustrious.
O processo de instalação é igual ao de outros modelos SDXL. Baixe o ponto de verificação e coloque-o na pasta correspondente dependendo da UI que você usa.
Janelas e Linux
- Para ComfyUI, a raiz é\models\checkpoints.
- Para A1111/Forge, a raiz é /models/Stable-diffusion.
- Para Fooocus, a raiz também é \models\checkpoints.
Mac OS
Os usuários de Mac seguem um caminho semelhante. No entanto, algumas UIs comuns orientadas para macOS exigem etapas adicionais.
- Os usuários do Draw Things devem clicar em “Modelos”, ir em “Personalizar” e clicar em “Importar Modelo”.
- A partir daí, você pode inserir o URL para baixar o Illustrious diretamente ou clicar em Importar modelo personalizado e selecionar o arquivo se você baixou o modelo e o salvou em sua unidade local.
- Os usuários do Diffusion Bee devem clicar no ícone de hambúrguer no canto superior direito, clicar em (Configurações), depois em (Adicionar novo modelo) e selecionar o famoso ponto de verificação que baixaram localmente.
Depois que o modelo for carregado, há três coisas a serem consideradas.
- Não use linguagem natural. Para obter melhores resultados, lembre-se de confiar nas tags Danbooru e seguir o antigo estilo de prompt SDXL.
- Não use pônei LoRas. Como os modelos utilizam abordagens diferentes, recomendamos o uso de Illustrious Loras para obter melhores resultados.
- Evite usar os modelos Ilustres originais e escolha alguns dos Fine Tunes mais populares. O modelo Illustrious original é o modelo básico e é perfeito para ajustes finos para focar nos resultados que você deseja alcançar. O mesmo que SDXL, Pony, Flux. Ajustar tende a dar melhores resultados.
Melhores modelos ilustres para escolher
Você pode escolher entre vários modelos com foco em diferentes estilos, estéticas e características.
Existem também modelos populares como o modelo Noob AI, que usa Illustrious como base e é usado por sintonizadores finos para construir modelos.
No entanto, abaixo estão as principais fotos para diferentes necessidades. Eles são ótimos para absorção rápida, qualidade de saída e facilidade de uso. Todas as amostras são da comunidade Civit AI e não são protegidas por direitos autorais.
Ótimo para versatilidade: Mistoon_Anime
Link: Mistoon_Anime – v1.0 Pontos de verificação famosos |
Adequado para 2.5D: Smooth Mix – Ilustre – Aviso altamente orientado para NSFW!
Links: Smooth Mix – Ilustre | Pônei – Ilustres Checkpoints |
Ótimo para arte e ilustração: NTR Mix
Links: NTR MIX | Ilustre XL | Noob-XL – XIII |
Perfeito para realismo: emocionante
Links: THRILLustrious – v5.0 Pontos de verificação notáveis |
Edição: Sebastian Sinclair e Josh Quittner
geralmente inteligente Boletim informativo
Uma jornada semanal de IA contada por Gen, um modelo generativo de IA.
