Tutorial Stable Diffusion: ¿Cómo hacer videos con Stable Diffusion? – Interpolación

🧐 ¿Qué es la difusión estable?

La difusión estable es un modelo de difusión de texto a imagen latente de código abierto. Puede obtener más información aquí o probarlo usted mismo; el código está disponible aquí.

🎯 ¿Cuál es nuestro objetivo y cómo lo lograremos?

Nuestro objetivo es hacer un video usando el proceso de interpolación. Usaremos el modelo Stable Diffusion para generar imágenes y luego las usaremos para hacer un video. Afortunadamente, no tenemos que escribir el código nosotros mismos para la interpolación entre espacios latentes. Usaremos la biblioteca stable_diffusion_videos. Si desea saber exactamente cómo funciona bajo el capó, siéntase libre de explorar el código en Github. Si necesita ayuda, haga una pregunta en el canal dedicado a esta guía. ¡Lo encontrarás en nuestro discord!

Para ejecutar este tutorial usaremos Google Colab y Google Drive

⚙️ Preparando dependencias

En primer lugar, debe instalar todas las dependencias y conectar Google Drive con Colab para guardar películas y fotogramas. Puedes hacerlo ejecutando:

Guía de solicitud de difusión estable: conceptos básicos de la ingeniería de solicitud, usando difusión estable

y entonces:

El siguiente paso es la autenticación con Hugging Face. Puedes encontrar tu ficha aquí.

🎥 Generación de imágenes/video

Para generar video, necesitamos definir indicaciones entre qué modelo se interpolará. Usaremos un diccionario para ello:

Ahora podemos generar imágenes/video usando:

Guía de indicaciones de Stable Diffusion: generación de imagen a imagen guiada por texto con Stable Diffusion

Este proceso puede llevar mucho tiempo, dependiendo de los parámetros pasados.

Hay algunas descripciones de los parámetros, pero si quiere saber más, consulte el código de stable_diffusion_videos. Uso 100 pasos entre indicaciones, pero puede usar más para obtener mejores resultados. También puedes modificar num_inference_steps y otros parámetros. ¡Siéntete libre de experimentar! Después de ejecutar este código, encontrará el video en su Google Drive. ¡Puedes descargarlo y verlo y compartirlo con tus amigos!

Si desea reproducir mis resultados, simplemente copie y pegue el código a continuación, pero le recomiendo que use sus propias indicaciones y experimente con el modelo. ¡Vale la pena!

➕ Bono

Puede utilizar más de dos indicaciones. Ejemplo:

Tutorial de Cohere: incrustación de texto con Cohere

Gracias ¡para leer! ¡Espera los próximos tutoriales!

Jakub Misiło – Científico de datos junior en New Native