Sistemas de IA Sesgos desenterrados y la apasionante búsqueda de la verdadera equidad

Unveiled AI Bias and the Exciting Quest for True Equity

Y cómo podemos prevenir la automatización del prejuicio

Fuente: Creador de Imágenes de Bing

La Inteligencia Artificial (IA) ya no es un concepto futurista, se ha convertido en una parte intrínseca de nuestras vidas. Es difícil pensar cómo Visa podría validar 1,700 transacciones por segundo y detectar fraudes en ellas sin la ayuda de la IA, o cómo, de los casi 1,000 millones de videos subidos, YouTube podría encontrar el video adecuado. Con su influencia pervasiva, es crucial establecer pautas éticas para garantizar el uso responsable de la IA. Para eso, necesitamos criterios estrictos de equidad, confiabilidad, seguridad, privacidad, inclusión, transparencia y responsabilidad en los sistemas de IA. En este artículo, profundizaremos en uno de estos principios, la equidad.

Equidad en las Soluciones de IA

La equidad está en la vanguardia de la IA responsable, lo que implica que los sistemas de IA deben tratar a todas las personas de manera imparcial, independientemente de su demografía o antecedentes. Los científicos de datos e ingenieros de aprendizaje automático deben diseñar soluciones de IA para evitar sesgos basados en la edad, género, raza o cualquier otra característica. Los datos utilizados para entrenar estos modelos deben representar la diversidad de la población, evitando la discriminación o marginalización inadvertida. Prevenir el sesgo parece ser un trabajo fácil; después de todo, estamos tratando con una computadora, ¿y cómo diablos puede ser racista una máquina?

Sesgo Algorítmico

Los problemas de equidad en la IA surgen del sesgo algorítmico, que son errores sistemáticos en la salida del modelo basados en una persona en particular. El software tradicional consiste en algoritmos, mientras que los modelos de aprendizaje automático son una combinación de algoritmos, datos y parámetros. No importa qué tan bueno sea un algoritmo; un modelo con datos malos es malo, y si los datos están sesgados, el modelo también lo estará. Introducimos sesgos en un modelo de varias formas:

Sesgos Ocultos

Tenemos sesgos; no hay duda al respecto, los estereotipos moldean nuestra visión del mundo, y si se filtran en los datos, también moldearán la salida del modelo. Un ejemplo de este fenómeno ocurre a través del lenguaje. Si bien el inglés es principalmente neutral en cuanto al género y el determinante “the” no indica género, resulta natural inferir el género a partir de “the doctor” o “the nurse”. Los modelos de lenguaje natural, como los modelos de traducción o los modelos de lenguaje extenso, son particularmente vulnerables a esto y pueden tener resultados sesgados si no se tratan adecuadamente.

Hace algunos años, escuché un acertijo que decía así. Un niño estaba jugando en el patio cuando se cayó y resultó gravemente herido; el padre llevó al niño al hospital, pero al llegar, el médico dijo: “No puedo operar a este niño; ¡él es mi hijo!” ¿Cómo puede ser esto? El acertijo era que el médico era una mujer, la madre del niño. Ahora imagina a una enfermera, una secretaria, una maestra, una florista y una recepcionista; ¿todas eran mujeres? Seguro que sabemos que hay hombres enfermeros por ahí, y nada impide que un hombre sea florista, pero no es lo primero en lo que pensamos. Así como nuestra mente se ve afectada por este sesgo, también lo está la mente de la máquina.

Hoy, 17 de julio de 2023, le pedí a Google Translate que tradujera algunas profesiones del inglés al portugués. La traducción de Google de ocupaciones como profesora, enfermera y costurera, utiliza el pronombre femenino en portugués “A” indicando que la profesional es una mujer (“A” professora, “A” enfermeira, “A” costureira, “A” secretaria). En contraste, ocupaciones como profesor, médico, programador, matemático e ingeniero utilizan el pronombre masculino en portugués “O” indicando que el profesional es un hombre (“O” professor, “O” médico, “O” programador, “O” matemático, “O” engenheiro).

Sesgo en la traducción de Google de profesiones del inglés al portugués, evidenciado por pronombres de género específicos (Fuente: Imagen del autor)

Mientras que GPT-4 ha hecho algunas mejoras, y no pude replicar el mismo comportamiento con mis pruebas rápidas, sí pude reproducirlo en GPT-3.5.

Sesgo en Chat GPT usando GPT 3.5 (Fuente: Imagen del autor)

Aunque los ejemplos presentados no representan una gran amenaza, es fácil pensar en consecuencias potencialmente graves de modelos con la misma tecnología. Consideremos un analizador de CV que lee un currículum y utiliza IA para determinar si el solicitante es adecuado para el puesto. Sin duda sería irracional y inmoral, y en algunos lugares, ilegal, descartar a una solicitante para un puesto de programadora solo porque se llama Jennifer.

Clases desequilibradas en los datos de entrenamiento

¿Es buena una precisión del 90%? ¿Y una precisión del 99%? Si predecimos una enfermedad rara que solo ocurre en el 1% de las personas, un modelo con una precisión del 99% no es mejor que dar una predicción negativa a todos, ignorando por completo las características.

Ahora, imaginemos que nuestro modelo no está detectando enfermedades sino personas. Al sesgar los datos hacia un grupo, un modelo puede tener problemas para detectar un grupo mal representado o incluso ignorarlo por completo. Esto es lo que le sucedió a Joy Buolamwini.

En el documental Coded Bias, la científica de la computación del MIT, Joy Buolamwini, expuso cómo muchos sistemas de reconocimiento facial no detectarían su rostro a menos que usara una máscara blanca. Las dificultades del modelo son un claro síntoma de que el conjunto de datos subrepresenta en gran medida a algunos grupos étnicos, lo cual no es sorprendente, ya que los conjuntos de datos utilizados para entrenar estos modelos están altamente sesgados, como se demostró en FairFace [1]. La mala representación de las proporciones del grupo puede hacer que el modelo ignore características esenciales de clases mal representadas.

Composiciones raciales en conjuntos de datos faciales. (Fuente: FairFace)

Aunque FairFace [1] equilibró su conjunto de datos entre las diferentes etnias, es fácil ver que importantes conjuntos de datos de la industria, como LFWA+, CelebA, COCO, IMDM-Wiki y VGG2, están compuestos por aproximadamente el 80% al 90% de personas blancas, una distribución que es difícil de encontrar incluso en los países más blancos [2] y, como demostró FairFace [1], puede degradar significativamente el rendimiento y la generalización de los modelos.

Mientras que el reconocimiento facial puede permitir que tu amigo desbloquee tu iPhone [3], podemos enfrentar peores consecuencias con diferentes conjuntos de datos. El sistema judicial de EE.UU. se dirige sistemáticamente a los afroamericanos [4]. Si creamos un conjunto de datos de personas arrestadas en EE.UU., sesgaremos los datos hacia los afroamericanos, y un modelo entrenado con estos datos puede reflejar este sesgo al clasificar a los afroamericanos como peligrosos. Esto le sucedió a COMPAS, un sistema de IA para crear una puntuación de riesgo de reincidencia criminal, expuesto por ProPublica en 2016 por dirigirse sistemáticamente a personas negras [5].

Fuga de datos

En 1896, en el caso Plessy vs. Ferguson, EE.UU. solidificó la segregación racial. En la Ley Nacional de Vivienda de 1934, el gobierno federal de EE.UU. solo respaldaría proyectos de construcción de vecindarios que estuvieran explícitamente segregados [6]. Esta es una de las muchas razones por las que la raza y la dirección están altamente correlacionadas.

Distribución de residencia por raza de Milwaukee (Fuente: Oficina del Censo de EE.UU.)

Consideremos ahora una compañía de electricidad que crea un modelo para ayudar en la cobranza de deudas incobrables. Como empresa consciente de los datos, decidieron no incluir nombres, género o información personal identificable en sus datos de entrenamiento y equilibrar los conjuntos de datos para evitar sesgos. Sin embargo, la compañía también ha introducido sesgos.

Al utilizar una variable tan correlacionada con la raza como la dirección, el modelo aprenderá a discriminar por raza, ya que ambas variables podrían intercambiarse. Este es un ejemplo de fuga de datos, donde un modelo aprende indirectamente a discriminar características no deseadas. Navegar por un mundo de prejuicios sistémicos puede ser desafiante; el sesgo se filtrará en los datos de las formas más inesperadas, y debemos ser muy críticos con las variables que incluimos en nuestro modelo.

Detectando problemas de justicia

No existe un consenso claro sobre lo que significa la justicia, pero hay algunas métricas que pueden ayudar. Al diseñar un modelo de ML para resolver un problema, el equipo debe ponerse de acuerdo sobre los criterios de justicia basados en los posibles problemas relacionados con la justicia que puedan enfrentar. Una vez que los criterios estén definidos, el equipo debe hacer un seguimiento de la métrica de justicia adecuada durante el entrenamiento, las pruebas, la validación y después de la implementación para detectar y abordar problemas relacionados con la justicia en el modelo y abordarlos en consecuencia. Microsoft ofrece una excelente lista de verificación para garantizar que la justicia sea una prioridad en el proyecto [7]. Considere dividir a las personas en dos grupos de atributos sensibles A, un grupo a con algunos atributos protegidos y un grupo b sin esos atributos; podemos definir algunas métricas de justicia de la siguiente manera:

  • Paridad demográfica: Esta métrica pregunta si la probabilidad de una predicción positiva para alguien de un grupo protegido es la misma que para alguien de un grupo no protegido. Por ejemplo, la probabilidad de clasificar una reclamación de seguro como fraudulenta es la misma independientemente de la raza, género o religión de la persona. Para un resultado predicho dado R, esta métrica se define como:

  • Paridad predictiva: Esta métrica se trata de la precisión de las predicciones positivas. En otras palabras, si nuestro sistema de IA dice que algo sucederá, ¿con qué frecuencia sucede para diferentes grupos? Por ejemplo, supongamos que un algoritmo de contratación predice que un candidato se desempeñará bien en un trabajo; la proporción de candidatos predichos que realmente lo hacen bien debería ser la misma en todos los grupos demográficos. Si el sistema es menos preciso para un grupo, podría estar favoreciéndolos o perjudicándolos injustamente. Para un resultado realizado dado Y, podemos definir esta métrica como:

  • Tasa de error de falsos positivos balanceada: También conocida como oportunidad igual, esta métrica se trata del equilibrio de las alarmas falsas. Si el sistema de IA realiza una predicción, ¿con qué frecuencia predice erróneamente un resultado positivo para diferentes grupos? Por ejemplo, cuando una oficina de admisiones rechaza solicitantes a una universidad, ¿con qué frecuencia se rechazan buenos candidatos adecuados en cada grupo? Podemos definir esta métrica como:

  • Equidad igualada: Esta métrica se trata de equilibrar tanto los verdaderos positivos como los falsos positivos en todos los grupos. Para una herramienta de diagnóstico médico, por ejemplo, la tasa de diagnósticos correctos (verdaderos positivos) y diagnósticos erróneos (falsos positivos) debería ser la misma independientemente del género, raza u otras características demográficas del paciente. En esencia, combina las demandas de Paridad predictiva y Tasa de error de falsos positivos balanceada y se puede definir de la siguiente manera:

  • Igualdad de tratamiento: Esta métrica examina la distribución de errores entre diferentes grupos. ¿Son los costos de estos errores los mismos para otros grupos? Por ejemplo, en un contexto de policía predictiva, si dos personas, una de un grupo protegido y otra de un grupo no protegido, no cometen un delito, deberían tener la misma probabilidad de ser erróneamente predichas como posibles criminales. Dados los falsos positivos FP y los falsos negativos FN de un modelo, esta métrica se puede definir de la siguiente manera:

Al menos en problemas de clasificación, calcular los criterios de justicia se puede hacer fácilmente utilizando una matriz de confusión. Sin embargo, fairlearn de Microsoft ofrece un conjunto de herramientas [8] para calcular esas métricas, preprocesar datos y postprocesar predicciones para cumplir con una restricción de justicia.

Abordando la justicia

Mientras la equidad debe estar en la mente de cada científico de datos a lo largo de todo el proyecto, podemos aplicar las siguientes prácticas para evitar problemas:

  • Recopilación y preparación de datos: Asegúrese de que su conjunto de datos sea representativo de las diversas demografías que desea atender. Varios técnicas pueden abordar el sesgo en esta etapa, como el sobremuestreo, el submuestreo o la generación de datos sintéticos para grupos subrepresentados.
  • Diseño y prueba del modelo: Es crucial probar el modelo con diversos grupos demográficos para descubrir cualquier sesgo en sus predicciones. Herramientas como Fairlearn de Microsoft pueden ayudar a cuantificar y mitigar los daños relacionados con la equidad.
  • Monitoreo posterior a la implementación: Incluso después de la implementación, debemos evaluar continuamente nuestro modelo para asegurarnos de que siga siendo equitativo a medida que encuentra nuevos datos y establece bucles de retroalimentación para permitir a los usuarios informar casos de sesgo percibido.

Para obtener un conjunto más completo de prácticas, se puede consultar la lista de verificación mencionada anteriormente [7].

En conclusión

Hacer que la IA sea justa no es fácil, pero es importante. Es aún más difícil cuando no podemos ponernos de acuerdo en lo que significa ser justo. Debemos asegurarnos de que todos sean tratados por igual y que nadie sea discriminado por nuestro modelo. Esto se volverá más difícil a medida que la IA crezca en complejidad y presencia en la vida diaria.

Nuestro trabajo es asegurarnos de que los datos estén equilibrados, cuestionar los sesgos y examinar minuciosamente cada variable en nuestro modelo. Debemos definir un criterio de equidad y adherirnos de cerca a él, estar siempre vigilantes, especialmente después de la implementación.

La IA es una gran tecnología en la base de nuestro mundo moderno impulsado por datos, pero asegurémonos de que sea excelente para todos.

Referencias

[1] FairFace: Conjunto de datos de atributos faciales para raza, género y edad equilibrados

[2] https://es.wikipedia.org/wiki/Gente_blanca

[3] https://www.mirror.co.uk/tech/apple-accused-racism-after-face-11735152

[4] https://www.healthaffairs.org/doi/10.1377/hlthaff.2021.01394

[5] https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

[6] https://es.wikipedia.org/wiki/Segregación_racial_en_los_Estados_Unidos

[7] Lista de verificación de equidad en IA – Investigación de Microsoft

[8] https://fairlearn.org/

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

🤖 ¡Háganse a un lado para el robot similar a una anguila un avance en la tecnología submarina! 🌊

Una innovación de vanguardia del Instituto Federal Suizo de Tecnología Lausana ha producido un notable y versátil rob...

Inteligencia Artificial

Ajustando la Tela de la IA Generativa FABRIC es un enfoque de IA que personaliza los modelos de difusión con retroalimentación iterativa

La inteligencia artificial generativa es un término con el que todos estamos familiarizados en la actualidad. Han ava...

Ciencia de Datos

Motivando la Autoatención

¿Por qué necesitamos consultas, claves y valores? Desentrañando el mecanismo de auto-atención de una manera menos abr...

Inteligencia Artificial

Investigadores del MIT proponen AskIt un lenguaje específico de dominio para agilizar la integración de modelos de lenguaje grandes en el desarrollo de software.

Investigaciones recientes han puesto de manifiesto las extraordinarias capacidades de los Modelos de Lenguaje Grandes...