Más allá de la precisión y la recuperación Un análisis profundo del índice de Tversky

Un análisis profundo del índice de Tversky más allá de precisión y recuperación.

Explorando una métrica de clasificación alternativa

Foto de Ricardo Arce en Unsplash

En el mundo de la ciencia de datos, las métricas son la brújula que guía nuestros modelos hacia el éxito. Si bien muchos están familiarizados con las medidas clásicas de precisión y recuperación, en realidad hay una amplia gama de otras opciones que vale la pena explorar.

En este artículo, nos sumergiremos en el índice de Tversky. Esta métrica, una generalización de los coeficientes de Dice y Jaccard, puede ser extremadamente útil cuando se trata de equilibrar precisión y recuperación entre sí. Cuando se implementa como una función de pérdida para redes neuronales, puede ser una forma poderosa de lidiar con desequilibrios de clases.

Un recordatorio rápido sobre precisión y recuperación

Imagínese que es un detective encargado de capturar criminales en su ciudad. En realidad, hay 10 criminales deambulando por las calles.

En su primer mes, lleva a 8 sospechosos que supone que son criminales. Solo 4 de ellos resultan ser culpables, mientras que los otros 4 son inocentes.

Si usted fuera un modelo de aprendizaje automático, se evaluaría en función de su precisión y recuperación.

Precisión pregunta: “de todos los que atrapaste, ¿cuántos eran criminales?”

Recuperación pregunta: “de todos los criminales en la ciudad, ¿cuántos capturaste?”

Precisión es una métrica que captura cuán precisas son sus predicciones, sin contar cuántos verdaderos positivos se pierden (falsos negativos). Recuperación mide cuántos de los verdaderos positivos capturas, independientemente de cuántos falsos positivos obtengas.

¿Cómo califican sus habilidades de detective en función de estas métricas?

  • precisión = 4 / (4 + 4) = 0.5
  • recuperación = 4 / (4 + 6) = 0.4

Equilibrando precisión y recuperación: la métrica F1

En un mundo ideal, su clasificador tiene tanto alta precisión como alta recuperación. Como medida de qué tan bien está haciendo su clasificador en ambos aspectos, la estadística F1 mide la media armónica entre los dos:

Esta métrica también se llama a veces coeficiente de similitud de Dice (DSC).

Midiendo similitud de otra manera…

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Últimos avances en el campo de la IA multimodal (ChatGPT + DALLE 3) + (Google BARD + extensiones) y muchos más…

La IA multimodal es un campo de la Inteligencia Artificial (IA) que combina diferentes tipos de datos (modalidades), ...

Inteligencia Artificial

Este boletín de inteligencia artificial es todo lo que necesitas #75

Esta semana fue testigo de la conclusión del drama en OpenAI con el regreso de Sam Altman y Greg Brockman a OpenAI y ...

Inteligencia Artificial

Automatiza la creación de subtítulos y la búsqueda de imágenes a escala empresarial utilizando la inteligencia artificial generativa y Amazon Kendra

Amazon Kendra es un servicio de búsqueda inteligente impulsado por aprendizaje automático (ML). Amazon Kendra redefin...

Inteligencia Artificial

Los agentes de IA personalizados ya están aquí. ¿Está el mundo listo para ellos?

La era de los asistentes de inteligencia artificial autónoma podría tener enormes implicaciones.

Ciencia de Datos

¡Di una vez! Repetir palabras no ayuda a la IA.

Los Modelos de Lenguaje Grandes (LLMs) han demostrado sus capacidades y han causado furor en el mundo. Cada gran empr...

Aprendizaje Automático

Acelerando el Acelerador Científico Acelera la Computación de Alto Rendimiento de CERN con GPUs y IA.

Nota del editor: Esto es parte de una serie que perfila a investigadores que avanzan en la ciencia con cómputo de alt...