Tienes que ajustar esas dimensiones DreamEditor es un modelo de IA que edita escenas en 3D utilizando indicaciones de texto.

Debes ajustar las dimensiones. DreamEditor es un modelo de IA que edita escenas en 3D con instrucciones de texto.

El dominio de visión por computadora 3D se ha inundado de NeRF en los últimos años. Surgieron como una técnica innovadora y permitieron la reconstrucción y síntesis de nuevas vistas de una escena. Los NeRF capturan y modelan la geometría subyacente y la información de apariencia de una colección de imágenes de múltiples vistas.

Aprovechando las redes neuronales, los NeRF ofrecen un enfoque basado en datos que supera a los métodos tradicionales. Las redes neuronales en los NeRF aprenden a representar la compleja relación entre la geometría de la escena, la iluminación y la apariencia dependiente de la vista, lo que permite reconstrucciones de escenas altamente detalladas y realistas. La principal ventaja de los NeRF radica en su capacidad para generar imágenes fotorrealistas desde cualquier punto de vista deseado dentro de una escena, incluso en regiones que no fueron capturadas por el conjunto original de imágenes.

El éxito de los NeRF ha abierto nuevas posibilidades en gráficos por computadora, realidad virtual y realidad aumentada, permitiendo la creación de entornos virtuales inmersivos e interactivos que se asemejan estrechamente a escenas del mundo real. Por lo tanto, existe un interés serio en el dominio para avanzar aún más en los NeRF.

Algunas desventajas de los NeRF limitan su aplicabilidad en escenarios del mundo real. Por ejemplo, la edición de campos neuronales es un desafío significativo debido a la codificación implícita de la información de forma y textura dentro de las características de alta dimensión de la red neuronal. Si bien algunos métodos han intentado abordar esto utilizando técnicas de edición exploradas, a menudo requieren una entrada extensa del usuario y tienen dificultades para lograr resultados precisos y de alta calidad. 

La capacidad de editar NeRF puede abrir posibilidades en aplicaciones del mundo real. Sin embargo, hasta ahora, todos los intentos no fueron lo suficientemente buenos como para resolver los problemas. Bueno, tenemos un nuevo jugador en el juego, y se llama DreamEditor.

DreamEditor te permite editar NeRF 3D. Fuente: https://arxiv.org/pdf/2306.13455.pdf

DreamEditor es un marco fácil de usar que permite la modificación intuitiva y conveniente de campos neuronales utilizando indicaciones de texto. Al representar la escena con un campo neuronal basado en malla y emplear un marco de edición paso a paso, DreamEditor permite una amplia gama de efectos de edición, incluyendo el cambio de textura, la sustitución de objetos y la inserción de objetos.

La representación de malla facilita la edición local precisa mediante la conversión de máscaras de edición 2D en regiones de edición 3D al mismo tiempo que desentrelaza la geometría y la textura para evitar deformaciones excesivas. El marco paso a paso combina modelos de difusión preentrenados con muestreo de destilación de puntajes, lo que permite una edición eficiente y precisa basada en indicaciones de texto simples. 

Resumen de DreamEditor. Fuente: https://arxiv.org/pdf/2306.13455.pdf

DreamEditor sigue tres etapas clave para facilitar la edición intuitiva y precisa de escenas 3D guiadas por texto. En la etapa inicial, el campo de radiancia neural original se transforma en un campo neuronal basado en malla. Esta representación de malla permite la edición selectiva espacialmente. Después de la conversión, utiliza un modelo personalizado de Texto a Imagen (T2I) que se entrena en la escena específica para capturar las relaciones semánticas entre las palabras clave en las indicaciones de texto y el contenido visual de la escena. Finalmente, las modificaciones editadas se aplican al objeto objetivo dentro del campo neuronal utilizando el modo de difusión T2I.

DreamEditor puede editar de manera precisa y progresiva la escena en 3D manteniendo un alto nivel de fidelidad y realismo. Este enfoque paso a paso, desde la representación basada en mallas hasta la localización precisa y la edición controlada a través de modelos de difusión, permite que DreamEditor obtenga resultados de edición altamente realistas al minimizar modificaciones innecesarias en regiones irrelevantes.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

El Proceso de IA

La IA todavía es considerada un campo relativamente nuevo, por lo que realmente no existen guías o estándares como SW...

Aprendizaje Automático

3 preguntas Jacob Andreas sobre modelos de lenguaje grandes

El científico de CSAIL describe la investigación de procesamiento de lenguaje natural a través de modelos avanzados d...

Inteligencia Artificial

Bosques Aleatorios en 2023 Extensiones Modernas de un Método Poderoso

En cuanto a los plazos de aprendizaje automático, los Bosques Aleatorios (RFs), presentados en el artículo seminal de...

Inteligencia Artificial

Aumente la productividad del agente con la integración de Salesforce para el análisis de llamadas en vivo.

Como agente de un centro de contacto, ¿preferirías enfocarte en tener conversaciones productivas con los clientes o d...

Inteligencia Artificial

Meta AI presenta AnyMAL el futuro de los modelos de lenguaje multimodal que conecta texto, imágenes, videos, audio y datos de sensores de movimiento.

En inteligencia artificial, uno de los desafíos fundamentales ha sido permitir que las máquinas comprendan y generen ...

Inteligencia Artificial

Construyendo un Agente Conversacional con un Microservicio de Memoria con OpenAI y FastAPI

Desbloqueando Posibilidades Desarrolla Agentes Potenciados por IA con Python para Experiencias Personalizadas. Aprend...