¡Atención Industria del Gaming! No más espejos extraños con Mirror-NeRF

¡Atención Industria del Gaming! No más espejos extraños con Mirror-NeRF' -> '¡Atención Industria del Gaming! No más espejos extraños con Mirror-NeRF

Las NeRF o Campos de Radiancia Neurales utilizan una combinación de RNN y CNN para capturar las características físicas de un objeto, como la forma, el material y la textura. Pueden generar imágenes realistas de objetos en diferentes condiciones de iluminación. Han demostrado ser muy útiles en medicina, robótica y entretenimiento debido a su capacidad para crear imágenes de alta resolución.

La reconstrucción en 3D y la representación de escenas con espejos, que existen de forma ubicua en el mundo real, han sido un desafío de larga data en la visión por computadora. Al lidiar con las inconsistencias en la reconstrucción con espejos utilizando NeRF, los investigadores de la Universidad de Zhejiang están introduciendo Mirror-NeRF, que representa correctamente el reflejo en el espejo en un campo de radiancia unificado al enviar la probabilidad de reflexión y rastrear los rayos siguiendo el modelo de transporte de luz de Whitted Ray Tracing.

NeRF, RefNeRF y NeRFReN, los tres métodos generaron el reflejo en el espejo desde nuevos puntos de vista interpolando los reflejos previamente aprendidos. Sin embargo, tienen limitaciones en cuanto a la capacidad de inferir de manera confiable reflejos no vistos durante el entrenamiento y sintetizar reflejos para objetos o espejos recién introducidos en la escena. La técnica recientemente introducida Mirror-NeRF puede dibujar con precisión el reflejo en el espejo y servir para diversas aplicaciones de modificación de escenas al integrar el trazado de rayos físicos en el proceso de renderizado neuronal.

Se crearon cinco conjuntos de datos sintéticos y cuatro reales, y se realizaron comparaciones cuantitativas de la síntesis de vistas novedosas utilizando las métricas de relación señal-ruido pico (PSNR), índice de similitud estructural (SSIM) y similitud de parches de imagen perceptual aprendida (LPIPS). Debido a que la superficie irregular del espejo afecta en gran medida la calidad del reflejo, también se introdujeron varios términos de regularización en el proceso de optimización. Cuando se habilitaron todos los términos de regularización, se obtuvo con éxito el reflejo preciso en el espejo con la mayor calidad de imagen.

Los hallazgos mostraron que NeRF, Ref-NeRF y NeRFReN tuvieron dificultades para producir el reflejo de los objetos cuyo reflejo tiene variaciones de alta frecuencia en color, como la imagen colgante distorsionada en el espejo de la sala de reuniones, una cortina borrosa en el espejo de la oficina y la sala de estar, y una prenda “empañada” en el espejo de la tienda de ropa. Por otro lado, el nuevo método representó reflejos detallados de objetos mediante el rastreo de los rayos reflejados. Aunque ha habido un avance inmenso en el trabajo con espejos, los investigadores aún no han incorporado la refracción en el marco de trabajo.

En conclusión, este avance promete nuevas oportunidades en las industrias del juego y el cine. Los artistas pueden desear crear efectos visuales complejos y utilizar la manipulación de espejos, por ejemplo, sustituyendo los reflejos en el espejo con una escena diferente. Podemos sintetizar la vista fotorealista de la nueva escena en el espejo con consistencia de múltiples vistas.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Se analiza el sonido de la tos para identificar la gravedad de los pacientes de COVID-19

Un estudio identificó características tos que pueden ayudar a evaluar la gravedad de la COVID-19 y permitir el monito...

Inteligencia Artificial

Pensar, rápido y lento + IA

Los cerebros de los humanos contienen un mecanismo diseñado para dar prioridad a las malas noticias. - Daniel Kahnema...

Inteligencia Artificial

Utilizando LLMs para codificar nuevas tareas para los robots

Un equipo de investigación desarrolló una herramienta que utiliza modelos de lenguaje grandes para codificar nuevas t...

Inteligencia Artificial

Libre de Limitaciones La Validación de las Alucinaciones de la Máquina en el MoMA

El científico de datos principal en Refik Anadol Studio, Christian Burke, relata su experiencia trabajando en la exhi...

Inteligencia Artificial

EE. UU. y la UE completan el tan esperado acuerdo sobre el intercambio de datos

El acuerdo pone fin a la incertidumbre legal para Meta, Google y decenas de empresas, al menos por ahora.

Inteligencia Artificial

AWS reafirma su compromiso con la IA generativa responsable

Como pionero en inteligencia artificial y aprendizaje automático, AWS se compromete a desarrollar e implementar IA ge...