Abordando la brecha de generalización del AI Investigadores de University College London proponen Spawrious – una suite de referencia de clasificación de imágenes que contiene correlaciones espurias entre clases y fondos.

Researchers from University College London propose Spawrious, a suite of reference for image classification that addresses the AI generalization gap by containing spurious correlations between classes and backgrounds.

Con la creciente popularidad de la Inteligencia Artificial, cada día se lanzan nuevos modelos con características y capacidades de resolución de problemas completamente nuevas. Los investigadores en los últimos tiempos se han centrado en encontrar enfoques para fortalecer la resistencia de los modelos de IA a las distribuciones de prueba desconocidas y reducir su dependencia de características falsas. Considerando los ejemplos de los automóviles autónomos y los robots de cocina autónomos, aún no se han desplegado ampliamente debido a los desafíos planteados por su comportamiento en entornos de distribución fuera de datos (OOD), que se refieren a los escenarios que difieren significativamente de los datos de entrenamiento a los que los modelos estuvieron expuestos.

Numerosos estudios han investigado el problema de las correlaciones falsas (SC) y han sugerido métodos para reducir sus efectos negativos en el rendimiento del modelo. Se ha demostrado que los clasificadores entrenados en conjuntos de datos conocidos como ImageNet dependen de datos de fondo, que están falsamente vinculados con las etiquetas de clase pero no necesariamente predictivos de ellas. Aunque se ha progresado en el desarrollo de métodos para abordar el problema de SC, todavía es necesario abordar las limitaciones de los puntos de referencia existentes. Los puntos de referencia actuales, como Waterbirds y CelebA hair color, tienen limitaciones, una de las cuales es su enfoque en correlaciones falsas uno a uno (O2O) simplistas, cuando en realidad, las correlaciones falsas de muchos a muchos (M2M) son más comunes, involucrando grupos de clases y fondos.

Recientemente, un equipo de investigadores del University College London ha presentado un conjunto de pruebas de clasificación de imágenes llamado conjunto de datos Spawrious que contiene correlaciones falsas entre clases y fondos. Incluye tanto correlaciones falsas uno a uno (O2O) como de muchos a muchos (M2M), que se han categorizado en tres niveles de dificultad: Fácil, Medio y Difícil. El conjunto de datos consta de aproximadamente 152.000 imágenes fotorrealistas de alta calidad generadas utilizando un modelo de texto a imagen, y se ha utilizado un modelo de subtitulado de imagen para filtrar imágenes inadecuadas, lo que garantiza la calidad y relevancia del conjunto de datos.

Al evaluar el conjunto de datos Spawrious, se ha demostrado un rendimiento increíble, ya que el conjunto de datos impuso desafíos para los enfoques de robustez de grupo del estado del arte actual (SOTA), como Hard-splits, lo que presentó un desafío significativo, sin que ninguno de los métodos probados lograra una precisión superior al 70% utilizando un modelo ResNet50 pre-entrenado en ImageNet. El equipo ha mencionado cómo las deficiencias de rendimiento de los modelos han sido causadas por su dependencia de fondos ficticios al observar las clasificaciones que realizaron incorrectamente. Esto demuestra cómo el conjunto de datos Spawrious fue capaz de probar con éxito los clasificadores y revelar sus debilidades ante correlaciones erróneas.

Para ilustrar la diferencia entre los puntos de referencia O2O y M2M, el equipo ha utilizado un ejemplo de recolectar datos de entrenamiento durante el verano, que consta de dos grupos de especies animales de dos ubicaciones distintas, y cada grupo de animales se asocia con un grupo de fondo específico. Sin embargo, a medida que cambian las estaciones y migran los animales, los grupos intercambian ubicaciones, lo que hace que las correlaciones falsas entre los grupos de animales y los fondos se inviertan de una manera que no se puede igualar en una relación uno a uno. Esto destaca la necesidad de capturar las complejas relaciones e interdependencias en las correlaciones falsas de muchos a muchos (M2M).

Spawrious parece ser un conjunto de pruebas prometedor para algoritmos de generalización de dominio OOD y para evaluar y mejorar la robustez de los modelos en presencia de características falsas.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Aprendamos Inteligencia Artificial Juntos - Boletín de la Comunidad Towards AI #4

Buenos días, estimados entusiastas de la IA. En este número, compartimos un nuevo video para nuestra serie de videos ...

Aprendizaje Automático

Explorando la afinación de instrucciones en modelos de lenguaje conoce Tülu, una suite de modelos de lenguaje grandes (LLMs) afinados.

El famoso ChatGPT desarrollado por OpenAI es uno de los mejores ejemplos de Modelos de Lenguaje Grande (LLMs) que se ...

Inteligencia Artificial

LMSYS ORG presenta Chatbot Arena una plataforma de referencia de LLM con batallas anónimas y aleatorias realizadas por la multitud

Muchos proyectos de código abierto han desarrollado modelos lingüísticos completos que se pueden entrenar para llevar...

Inteligencia Artificial

Presentamos OpenChat La plataforma gratuita y sencilla para construir chatbots personalizados en minutos.

Enseña a tus chatbots cualquier tema conectándolos a recursos como PDFs, sitios web, Notion, Confluence y Office 365.

Inteligencia Artificial

Conoce a Ego-Exo4D Un conjunto de datos y una suite de referencia esenciales para apoyar la investigación sobre aprendizaje de video y percepción multimodal.

Hoy en día, la inteligencia artificial encuentra su aplicación en casi todos los campos imaginables. Definitivamente ...

Inteligencia Artificial

Swin Transformers | Tareas modernas de visión por computadora

Introducción El Swin Transformer es una innovación significativa en el campo de los transformadores de visión. El ren...