Conoce TRACE Un Nuevo Enfoque de IA para la Estimación Precisa de la Postura y la Forma Humana en 3D con Seguimiento de Coordenadas Globales.

Conoce TRACE un nuevo enfoque de IA para la estimación precisa de la postura y forma humana en 3D con seguimiento global de coordenadas.

Muchas áreas pueden beneficiarse y utilizar los avances recientes en la estimación de la pose y forma humana 3D (HPS). Sin embargo, la mayoría de los enfoques solo consideran un solo cuadro a la vez, estimando las posiciones humanas en relación con la cámara. Además, estas técnicas no siguen a las personas y no pueden recuperar sus trayectorias de viaje mundiales. El problema se agrava en la mayoría de los videos portátiles ya que se graban con una cámara temblorosa y agitada.

Para resolver estos problemas, investigadores del Instituto de Tecnología de Harbin, Explore Academy de JD.com, Instituto Max Planck para Sistemas Inteligentes y HiDream.ai implementan un novedoso razonamiento de extremo a extremo sobre personas en situaciones utilizando una representación de 5D (espacio, tiempo e identidad). La técnica TRACE propuesta tiene diversas características arquitectónicas innovadoras. Lo más notable es que emplea dos novedades, “mapas”, para razonar sobre el movimiento 3D de las personas en el tiempo y el espacio, tanto desde la perspectiva de la cámara como desde la del mundo. Con la ayuda de un segundo módulo de memoria, es posible hacer un seguimiento de las personas incluso después de largas ausencias. TRACE recupera modelos humanos 3D en coordenadas globales desde cámaras en movimiento en un solo paso y simultáneamente rastrea sus movimientos.

Tenían el objetivo de reconstruir simultáneamente las coordenadas globales, posición 3D, forma, identidad y movimiento de cada persona. Para ello, TRACE primero extrae información temporal antes de utilizar una red neuronal dedicada para decodificar cada sub-tarea. En primer lugar, TRACE utiliza dos ejes paralelos para codificar el video y el movimiento en mapas de características separados, uno para la imagen temporal (F’i) y otro para el movimiento (Oi). Utilizando estas características, los subárboles de Detección y Seguimiento ejecutan el seguimiento de múltiples sujetos para reconstruir el movimiento humano 3D en coordenadas de la cámara.

El mapa de Desplazamiento de Movimiento 3D estimado muestra el movimiento relativo de cada sujeto en el espacio entre dos cuadros. Una innovadora unidad de memoria extrae las identidades de los sujetos y construye trayectorias humanas en coordenadas de la cámara utilizando detecciones 3D y desplazamientos de movimiento 3D estimados. La rama Mundial de la novedad luego calcula un mapa de movimiento mundial para estimar las trayectorias de los sujetos en coordenadas globales.

La ausencia de datos del mundo real para entrenar y evaluar las estimaciones globales de trayectoria humana persiste incluso con una sólida representación de 5D. Sin embargo, compilar trayectorias humanas globales y posturas de cámara para películas de cámara dinámica de entornos naturales (videos DC) es un desafío. Por lo tanto, el equipo simuló movimientos de cámara para transformar películas salvajes adquiridas por cámaras estacionarias en videos DC y generar un nuevo conjunto de datos llamado DynaCam.

El equipo probó TRACE utilizando el conjunto de datos DynaCam y dos referencias múltiples de personas en la naturaleza. En cuanto a 3DPW, TRACE proporciona resultados que son SOTA. En MuPoTS-3D, TRACE logra mejores resultados en el seguimiento de humanos bajo oclusión a largo plazo que los enfoques basados en representaciones 3D y los métodos de seguimiento por detección anteriores. Los hallazgos muestran que TRACE supera a GLAMR en DynaCam en cuanto a calcular la trayectoria 3D general de un ser humano a partir de videos DC.

El equipo sugiere investigar la estimación explícita del movimiento de la cámara utilizando datos de entrenamiento como BEDLAM, que incluye movimientos humanos complicados, escenas 3D y movimientos de cámara en el futuro.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Desbloqueando la transparencia de la IA Cómo el agrupamiento de características de Anthropic mejora la interpretabilidad de las redes neuronales

En un reciente artículo, “Hacia la monosemanticidad: descomposición de modelos de lenguaje con aprendizaje de d...

Inteligencia Artificial

Aplicaciones de ChatGPT Desatando el Potencial en Diversas Industrias

Las aplicaciones de ChatGPT están cambiando todas las áreas de nuestras vidas, tanto en el trabajo como en el hogar. ...

Inteligencia Artificial

Alibaba libera el modelo de IA de código abierto para competir con Meta y potenciar a los desarrolladores

En un desarrollo significativo, Alibaba, el gigante chino del comercio electrónico, ha decidido abrir su potente mode...

Inteligencia Artificial

AWS reafirma su compromiso con la IA generativa responsable

Como pionero en inteligencia artificial y aprendizaje automático, AWS se compromete a desarrollar e implementar IA ge...

Inteligencia Artificial

Generación rápida y precisa de hologramas acústicos utilizando un marco basado en aprendizaje profundo

El equipo liderado por el profesor Hwang Jae-Yoon del Departamento de Ingeniería Eléctrica y Ciencias de la Computaci...