Investigadores de Microsoft y ETH Zurich presentan LightGlue

Investigadores de Microsoft y ETH Zurich presentan LightGlue.

En el ámbito de la visión por computadora, la coincidencia de puntos correspondientes entre imágenes desempeña un papel vital en aplicaciones como el seguimiento de cámaras y la cartografía 3D. Pero estos métodos tienen limitaciones y ahí es donde entra en juego una nueva red profunda llamada LightGlue.

Resultado de un esfuerzo de investigación colaborativo entre ETH Zurich y Microsoft, LightGlue aprovecha una red profunda que combina la coincidencia de imágenes y el rechazo de valores atípicos. Incorpora el modelo Transformer, que aprende a emparejar pares de imágenes desafiantes aprovechando vastos conjuntos de datos. Este enfoque innovador demuestra una notable robustez tanto en entornos interiores como exteriores.

LightGlue destaca en la localización visual en condiciones desafiantes y muestra un rendimiento prometedor en tareas como la coincidencia aérea, la estimación de la posición de objetos y la reidentificación de peces. Este nuevo enfoque tiene como objetivo resolver las limitaciones de “SuperGlue”, que sufría de ineficiencia computacional y la demanda de recursos informáticos sustanciales.

Para resolver este problema, el equipo desarrolló LightGlue como una alternativa más precisa, eficiente y fácil de entrenar. A través de modificaciones arquitectónicas meticulosas y la destilación de una receta para entrenar coincidencias profundas de alto rendimiento con recursos limitados, el equipo logró una precisión de vanguardia en unos pocos días de GPU.

LightGlue también presenta una solución óptima de Pareto. Esto significa que puede lograr un equilibrio ideal entre eficiencia y precisión. A diferencia de enfoques anteriores, LightGlue se adapta a la dificultad de cada par de imágenes. Esto se logra mediante la predicción de correspondencias después de cada bloque computacional y evaluando la confianza para una mayor computación, los puntos no coincidentes se descartan temprano.

Esto le permite centrar los esfuerzos computacionales en las áreas de interés y mejorar la eficiencia. Hasta ahora, los resultados experimentales muestran la superioridad de LightGlue sobre las coincidencias escasas y densas existentes. También ofrece coincidencias a partir de características locales mientras reduce significativamente el tiempo de ejecución.

El desarrollo de LightGlue puede potenciar la implementación de coincidencias profundas en aplicaciones sensibles a la latencia, como la localización y el mapeo simultáneos o SLAM. También puede reconstruir escenas más amplias a partir de datos obtenidos de la colaboración de multitudes.

Emocionantemente, el modelo y el código de entrenamiento de LightGlue estarán disponibles públicamente bajo una licencia permisiva. Esta liberación no solo otorga a los investigadores y profesionales acceso a las capacidades de LightGlue, sino que también fomenta las contribuciones para avanzar en las aplicaciones de visión por computadora que requieren una coincidencia eficiente y precisa de imágenes.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Descifrando el comportamiento colectivo Cómo la inferencia bayesiana activa impulsa los movimientos naturales de los grupos de animales

El fenómeno del movimiento colectivo en animales observado en actividades como los enjambres de langostas, los cardúm...

Inteligencia Artificial

La estructura más resistente conocida descubierta por el Laboratorio de Robots Autónomos

El laboratorio de robótica experimental autónoma basada en la teoría de Bayes de la Universidad de Toronto en Canadá ...

Inteligencia Artificial

El catálogo de modelos de inteligencia artificial de Azure de Microsoft se expande con modelos innovadores de inteligencia artificial

Microsoft ha lanzado una amplia expansión de su Catálogo de Modelos de IA de Azure, incorporando una variedad de mode...

Inteligencia Artificial

Investigadores de NTU Singapur proponen PointHPS Un marco de IA para la estimación precisa de la postura humana y la forma a partir de nubes de puntos 3D.

Con varios avances en el campo de la Inteligencia Artificial, la estimación de la postura y forma humana (HPS, por su...

Inteligencia Artificial

Conoce a Rodin un nuevo marco de inteligencia artificial (IA) para generar avatares digitales en 3D a partir de diversas fuentes de entrada.

Los modelos generativos se están convirtiendo en la solución por defecto para muchas tareas desafiantes en ciencias d...

Inteligencia Artificial

¿Qué es la Superalineación y por qué es importante?

Abordando los posibles riesgos asociados con los sistemas de superinteligencia.