Este tutorial muestra cómo crear una canalización de difusores personalizados para la generación de imagen a imagen guiada por texto con el modelo de difusión estable utilizando la biblioteca 🤗 Hugging Face Diffusers. Después de leer, podrá crear hermosas obras de arte generadas por IA a partir de un boceto simple.
Breve introducción a la difusión estable
Stable Diffusion es un modelo de difusión latente de texto a imagen creado por investigadores e ingenieros de CompVis, Stability AI y LAION. Está entrenado en imágenes de 512×512 de un subconjunto de la base de datos LAION-5B. Este modelo utiliza un codificador de texto CLIP ViT-L/14 congelado para condicionar el modelo en las indicaciones de texto. Con su codificador de texto 860M UNet y 123M, el modelo es relativamente liviano y se ejecuta en la mayoría de las GPU. Si quieres saber más sigue leyendo aquí.
Empecemos
Debe aceptar la licencia del modelo antes de descargar o utilizar las pesas. En este tutorial, usaremos la versión del modelo v1-4, por lo que deberá visitar su tarjeta, leer la licencia y marcar la casilla de verificación si está de acuerdo.
Tienes que ser un usuario registrado en 🤗 Hugging Face Hub, y también necesitarás usar un token de acceso para que el código funcione. Para obtener más información sobre los tokens de acceso, consulte esta sección de la documentación.
Ahora iniciaremos sesión en 🤗 Hugging Face. Puedes usar el notebook_login función para iniciar sesión.
Después de esto, comenzaremos con la tubería Image2Image.
Cargue la tubería.
Descarga una imagen inicial y preprocesala para que podamos pasarla a la canalización.
Defina la solicitud y ejecute la canalización.
Aquí, la fuerza es un valor entre 0,0 y 1,0, que controla la cantidad de ruido que se agrega a la imagen de entrada. Los valores que se acercan a 1.0 permiten muchas variaciones pero también producirán imágenes que no son semánticamente consistentes con la entrada.
En Colab puedes imprimir la imagen simplemente escribiendo:
¡Y ahí lo tienes! Una hermosa obra de arte generada por IA a partir de un boceto simple.
Además, puede ajustar los parámetros y probar qué funciona mejor para su caso de uso. Como puede ver, cuando se usa un valor más bajo para la fuerza, la imagen generada se acerca más a la original. init_image:
¡Gracias! Si disfrutó de este tutorial, puede encontrar más y continuar leyendo en nuestra página de tutoriales: Fabian Stehle, pasante de ciencia de datos en New Native
Más recursos
Encuentre el cuaderno de Colab completo para este tutorial en nuestro GitHub