Investigadores de la Universidad de UT Austin presentan PSLD Un método de IA que utiliza difusión estable para resolver todos los problemas lineales sin necesidad de entrenamiento adicional.

Investigadores de la Universidad de UT Austin presentan PSLD, un método de IA que resuelve todos los problemas lineales sin necesidad de entrenamiento adicional.

Para resolver problemas inversos, existen dos categorías de enfoques: técnicas supervisadas, donde se entrena un modelo de restauración para completar la tarea, y métodos no supervisados, donde un modelo generativo utiliza el conocimiento previo que ha aprendido para dirigir el proceso de restauración.

Un avance significativo en la modelización generativa es la aparición de los modelos de difusión. Como resultado de la aparente eficacia de los modelos de difusión, los investigadores han comenzado a explorar su potencial para resolver problemas inversos. Debido a la dificultad de abordar problemas inversos (lineales y no lineales) utilizando modelos de difusión, se han desarrollado diversos algoritmos de aproximación. Estas técnicas utilizan modelos de difusión preentrenados como priors flexibles para la distribución de datos con el fin de abordar de manera eficiente problemas como el relleno de espacios, el desenfoque y la superresolución.

Los modelos fundamentales de última generación, como Stable Diffusion, están impulsados por modelos de difusión latentes (LDMs). Estos modelos han permitido diversas aplicaciones en diversas modalidades de datos, como imágenes, videos, audio y distribuciones en el ámbito médico (MRI y proteínas). Sin embargo, ninguno de los algoritmos actuales para resolver problemas inversos es compatible con los modelos de difusión latentes. Para un problema inverso, se debe realizar un ajuste fino para cada tarea de interés con el fin de utilizar un modelo base, como Stable Diffusion.

Una investigación reciente del equipo de la Universidad de Texas en Austin propone el primer marco de trabajo para utilizar modelos de difusión latentes preentrenados para abordar problemas inversos genéricos. Un paso adicional de actualización del gradiente dirige el proceso de difusión hacia latentes de muestra para los cuales el mapa de decodificación-codificación no es pérdida; esta es su idea central para ampliar DPS. Su algoritmo llamado Posterior Sampling with Latent Diffusion (PSLD), supera a los enfoques anteriores sin ajuste fino utilizando el poder de los modelos fundamentales accesibles para una amplia variedad de problemas.

Los investigadores evalúan el enfoque PSLD frente al algoritmo de última generación DPS en una variedad de tareas de restauración y mejora de imágenes, como relleno aleatorio, relleno de caja, eliminación de ruido, desenfoque gaussiano, desenfoque de movimiento, enmascaramiento arbitrario y superresolución. El equipo utilizó Stable Diffusion entrenado con el conjunto de datos LAION para su análisis. Los resultados mostraron un rendimiento de última generación.

Los investigadores también observaron que el algoritmo podría ser influenciado involuntariamente por los sesgos inherentes a este conjunto de datos y a su modelo subyacente. La técnica propuesta es compatible con cualquier LDM. El equipo cree que estos problemas se resolverán mediante nuevos modelos fundamentales entrenados en conjuntos de datos mejorados. También destacan que no se ha investigado la aplicación de modelos fundamentales basados en latentes para resolver problemas inversos no lineales. Esperan que esto se generalice ya que el enfoque se basa en la aproximación DPS.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Noticias de Inteligencia Artificial

Robot utiliza una frambuesa falsa para practicar la recolección de frutas.

Los científicos diseñaron un robot que practicó la recolección de frambuesas en una réplica de frambuesa de silicona ...

Inteligencia Artificial

(Note 'Inpainting' is translated as 'relleno de imágenes' which means 'image filling')

¿Cómo se pueden completar de manera efectiva las secciones faltantes de una captura 3D? Este artículo de investigació...

Inteligencia Artificial

Meer Pyrus Base Una nueva plataforma de código abierto basada en Python para la simulación bidimensional (2D) de RoboCup Soccer

La robótica, la rama dedicada por completo al campo de la Ingeniería Electrónica e Informática, está ahora conectada ...

Inteligencia Artificial

Apple entra en la competencia de la IA generativa con el chatbot 'AppleGPT

El gigante tecnológico Apple sigue adelante con su esperado chatbot impulsado por IA, tentativamente llamado “A...