Las Difusores de Hugging Face ahora pueden cargar correctamente LoRA

Las Difusores de Hugging Face pueden cargar LoRA correctamente.

<h2 id="usando-la-función de parcheo de Monkey Patching más reciente de Diffusers para cargar LoRA produce exactamente el mismo resultado en comparación con A1111

Extrae el código más reciente del repositorio de código de Diffusers de Hugging Face y descubre que el código más nuevo actualizado relacionado con la carga de LoRA se ha actualizado y ahora se puede hacer Monkey-Patching LoRA loading.

Para instalar lo último de Diffusers:

pip install -U git+https://github.com/huggingface/diffusers.git@main

La función de carga de LoRA generaba resultados ligeramente defectuosos ayer, según mis pruebas. Este artículo analiza cómo utilizar el último cargador de LoRA del paquete Diffusers.

Cargar LoRA y actualizar el peso del modelo de difusión estable

Hace tiempo que los programadores que utilizan Diffusers no pueden cargar fácilmente LoRA. Para cargar LoRA en un modelo de punto de control y obtener el mismo resultado que la interfaz web de Difusión Estable de A1111, necesitamos utilizar código personalizado adicional para cargar los pesos como se indica en este artículo.

Mejorar el paquete Diffusers para la generación de imágenes de alta calidad

Superar las limitaciones del tamaño de token, carga de modelo personalizada, soporte de LoRa, soporte de inversión textual y más

towardsdatascience.com

La solución proporcionada en este artículo funciona bien y rápido, aunque requiere una gestión adicional en el peso alfa de LoRA, necesitamos crear una variable para recordar el peso alfa actual de LoRA. Debido a que el código de carga de LoRA simplemente agrega la matriz A y la matriz B de LoRA juntas.

Luego se fusionan con el peso principal del modelo de punto de control W.

Para eliminar los pesos de LoRA, necesitaremos un -α negativo para eliminar los pesos de LoRA o recrear el pipeline.

La forma de parcheo de Monkey-Patching para cargar LoRA

Otra forma de usar LoRA es parchear el código que ejecuta el proceso de avance del módulo y llevar los pesos de LoRA durante el cálculo de la incrustación de texto y la puntuación de atención.

Y así es como la aproximación de Diffusers LoraLoaderMixin para cargar LoRA. La buena parte de este enfoque es que no se actualiza el peso del modelo, podemos restablecer fácilmente LoRA y proporcionar un nuevo α para definir el peso de LoRA.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Duck AI presenta DuckTrack un recolector de datos de interacción multimodal con computadoras.

El seguimiento preciso y exacto de las interacciones del usuario constituye un pilar fundamental para avanzar en las ...

Inteligencia Artificial

Esta investigación de OpenAI presenta DALL-E 3 Revolucionando los modelos de texto a imagen con capacidades mejoradas de seguimiento de indicaciones.

En inteligencia artificial, la búsqueda de mejorar los modelos de generación de texto a imagen ha ganado una gran inf...

Inteligencia Artificial

Conoce a los 'Super Usuarios' de la IA Generativa el 70% de la Generación Z utiliza GenAI

La encuesta de Salesforce muestra que la edad y el estado laboral son factores importantes en la adopción de la IA.

Inteligencia Artificial

Construyendo sistemas complejos utilizando ChatGPT

Introducción La inteligencia artificial ha evolucionado más allá de las expectativas con LLMs como ChatGPT. GPT-4, un...