Conoce a TADA Un enfoque potente de IA para convertir descripciones verbales en un expresivo avatar 3D

TADA Un enfoque de IA para crear avatares 3D a partir de descripciones verbales.

El desarrollo de modelos de lenguaje grandes y modelos de difusión ha allanado el camino para fusionar modelos de texto a imagen con representaciones de escenas tridimensionales diferenciales neuronales, los mejores ejemplos de los cuales son DeepSDF, NeRF y DMTET. Estos han permitido la creación de modelos 3D precisos solo a partir de descripciones textuales. Aunque estos avances han traído un gran progreso en la comunidad de Inteligencia Artificial, en términos de forma y textura, los objetos o personajes generados suelen quedarse cortos a la hora de producir avatares 3D realistas de excelente calidad. Estos personajes también pueden no encajar en los flujos de trabajo convencionales de gráficos por computadora.

En una investigación reciente, un equipo de investigadores ha presentado TADA (Text to Animatable Digital Avatars), un método simple pero muy poderoso para convertir descripciones verbales en avatares 3D expresivos con geometría impactante y texturización realista. Estos avatares se pueden animar utilizando métodos gráficos tradicionales y son visualmente atractivos. Las técnicas existentes para generar personajes a partir de texto tienen problemas con la calidad de la geometría y la textura. Estas técnicas tienen dificultades para animar de manera realista debido a discrepancias en la geometría y la textura, especialmente en la cara. TADA aborda estos problemas formando una poderosa sinergia entre un modelo de difusión 2D y un modelo corporal paramétrico.

La creación de una representación de avatar sofisticada es clave para la invención de TADA. El equipo ha agregado una capa de desplazamiento y un mapa de textura al modelo corporal SMPL-X para mejorarlo. Como resultado, SMPL-X se ha producido en una forma de alta resolución que puede capturar texturas y características más finas. Se ha introducido un método de renderizado jerárquico, junto con muestreo de destilación de puntuación (SDS), para crear avatares 3D complicados y de alta calidad a partir de entradas de texto. Esta técnica garantiza las características detalladas y completas de los avatares.

Para alinear la geometría y la textura de los avatares, el equipo ha utilizado incrustaciones latentes de los personajes creados, imágenes normales y RGB renderizadas durante todo el proceso de optimización SDS. Los problemas de desalineación que afectaron a técnicas anteriores se han eliminado, especialmente en la región facial, mediante la implementación de la estrategia de alineación. Además, se ha hecho un esfuerzo para mantener las expresiones faciales y la semántica de los personajes consistentes utilizando varias expresiones durante el proceso de optimización. Este método garantiza que los avatares finales conserven la integridad semántica del modelo SMPL-X original, lo que permite una animación realista y alineada de forma orgánica.

TADA se ha utilizado mediante una técnica llamada Muestreo de Destilación de Puntuación (SDS). Las principales contribuciones son las siguientes:

  1. Optimización Jerárquica con Representación de Malla Híbrida, que permite detalles de alta calidad, especialmente en la cara.
  1. Alineación Coherente de Geometría y Textura, utilizando un proceso de optimización que deforma el personaje generado utilizando posturas corporales y expresiones faciales predefinidas del modelo corporal SMPL-X.
  1. Consistencia Semántica y Animación, asegurando que el personaje generado mantenga la consistencia semántica con SMPL-X, lo que permite una animación fácil y precisa.

El equipo ha realizado ciertas evaluaciones, tanto cualitativas como cuantitativas, para evaluar cuánto mejor es TADA que las alternativas. Se observó que las capacidades de TADA van más allá de la producción de avatares; permite la construcción a gran escala de personajes digitales adecuados tanto para animación como para renderización. También proporciona edición guiada por texto, lo que brinda a los usuarios una gran cantidad de poder y personalización.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Papel de los Contratos de Datos en la Canalización de Datos

¿Qué son los Contratos de Datos? Un contrato de datos es un acuerdo o conjunto de reglas que define cómo debe estruct...

Inteligencia Artificial

Miles en fila para obtener el implante de chip cerebral de Neuralink, de Elon Musk

El implante, diseñado para reemplazar la pieza del cráneo removida, leerá y analizará la actividad cerebral de la per...

Noticias de Inteligencia Artificial

Robot utiliza una frambuesa falsa para practicar la recolección de frutas.

Los científicos diseñaron un robot que practicó la recolección de frambuesas en una réplica de frambuesa de silicona ...

Inteligencia Artificial

Real AI gana el proyecto para construir el modelo de lenguaje abierto de Europa de inteligencia artificial

Durante la Conferencia de Ciencia de Datos 2023 en Belgrado, el jueves 23 de noviembre, se anunció que Real AI ganó e...

Inteligencia Artificial

ExLlamaV2 La biblioteca más rápida para ejecutar LLMs

ExLlamaV2 es una biblioteca diseñada para exprimir aún más rendimiento de GPTQ. Gracias a nuevos kernels, está optimi...

Ciencia de Datos

Conoce AnythingLLM Una Aplicación Full-Stack Que Transforma Tu Contenido en Datos Enriquecidos para Mejorar las Interacciones con Modelos de Lenguaje Amplio (LLMs)

Desde el lanzamiento del revolucionario ChatGPT de OpenAI, el número de proyectos relacionados con la IA, especialmen...