La mochila que resuelve el sesgo de ChatGPT Los modelos de lenguaje Backpack son métodos de inteligencia artificial alternativos para los transformadores.

The ChatGPT bias-solving backpack is an alternative AI method to transformers for language models.

Los modelos de lenguaje de Inteligencia Artificial se están convirtiendo en una parte esencial de nuestras vidas. Hemos estado utilizando Google durante décadas para acceder a información, pero ahora, estamos cambiando lentamente a ChatGPT. Proporciona respuestas concisas, explicaciones claras y generalmente es más rápido para encontrar la información que buscamos.

Estos modelos aprenden de los datos que hemos producido a lo largo de los años. Como resultado, transferimos nuestros sesgos a los modelos de IA, y este es un tema de debate en el dominio. Un sesgo particular que ha ganado atención es el sesgo de género en la distribución de pronombres, donde los modelos tienden a preferir pronombres de género como “él” o “ella” según el contexto.

Abordar este sesgo de género es crucial para garantizar una generación de lenguaje justa e inclusiva. Por ejemplo, si comienza la oración “El CEO cree que …”, el modelo continúa con él, y si reemplaza el CEO con la enfermera, el siguiente token se convierte en ella. Este ejemplo sirve como un interesante estudio de caso para examinar sesgos y explorar métodos para mitigarlos.

Resulta que el contexto juega un papel crucial en la formación de estos sesgos. Al reemplazar el CEO con una profesión asociada estereotípicamente con un género diferente, podemos cambiar realmente el sesgo observado. Pero aquí está el desafío: lograr un des sesgo consistente en todos los diferentes contextos donde aparece el CEO no es tarea fácil. Queremos intervenciones que funcionen de manera confiable y predecible, independientemente de la situación específica. Después de todo, la interpretabilidad y el control son clave cuando se trata de comprender y mejorar los modelos de lenguaje. Desafortunadamente, los modelos Transformer actuales, si bien son impresionantes en su rendimiento, no cumplen completamente con estos criterios. Sus representaciones contextuales introducen todo tipo de efectos complejos y no lineales que dependen del contexto en cuestión.

Entonces, ¿cómo podemos superar estos desafíos? ¿Cómo podemos abordar el sesgo que introdujimos en los grandes modelos de lenguaje? ¿Deberíamos mejorar los transformers o deberíamos idear nuevas estructuras? La respuesta es Backpack Language Models.

Backpack LM aborda el desafío de des sesgar las distribuciones de pronombres aprovechando las representaciones no contextuales conocidas como vectores de sentido. Estos vectores capturan diferentes aspectos del significado de una palabra y su papel en contextos diversos, dando a las palabras múltiples personalidades.

Visión general de Backpack LM. Fuente: https://arxiv.org/pdf/2305.16765.pdf

En Backpack LMs, las predicciones son combinaciones log-lineales de representaciones no contextuales, conocidas como vectores de sentido. Cada palabra en el vocabulario está representada por múltiples vectores de sentido, que codifican aspectos distintos aprendidos de los roles potenciales de la palabra en diferentes contextos.

Estos vectores de sentido se especializan y pueden ser útiles predictivamente en contextos específicos. La suma ponderada de vectores de sentido para palabras en una secuencia forma la representación de Backpack de cada palabra, con los pesos determinados por una función de contextualización que opera en toda la secuencia. Al aprovechar estos vectores de sentido, los modelos de Backpack permiten intervenciones precisas que se comportan de manera predecible en todos los contextos.

Esto significa que podemos hacer cambios no contextuales en el modelo que influyen consistentemente en su comportamiento. En comparación con los modelos Transformer, los modelos de Backpack ofrecen una interfaz más transparente y manejable. Proporcionan intervenciones precisas que son más fáciles de entender y controlar. Además, los modelos de Backpack no comprometen el rendimiento. De hecho, logran resultados a la par con los Transformers mientras ofrecen una mayor interpretabilidad.

Ejemplo de vectores de sentido. Fuente: https://backpackmodels.science/

Los vectores de sentido en los modelos de Backpack codifican ricas nociones de significado de palabras, superando a las incrustaciones de palabras de los modelos Transformer de última generación en tareas de similitud léxica. Además, las intervenciones en los vectores de sentido, como la reducción del sesgo de género en palabras profesionales, demuestran el mecanismo de control que ofrecen los modelos Backpack. Al reducir la escala del vector de sentido asociado con el sesgo de género, se pueden lograr reducciones significativas en las disparidades de predicción contextual en entornos limitados.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Un Enfoque Integral para Mejorar la Seguridad del IoT con Inteligencia Artificial

Transforma la seguridad de IoT con soluciones impulsadas por IA. Protege tus dispositivos de posibles amenazas para u...

Inteligencia Artificial

Descubriendo a fondo GPT-4 y XGBoost 2.0 Las nuevas fronteras de la inteligencia artificial

Introducción AI está experimentando un cambio significativo con la aparición de LLM como GPT-4, revolucionando la com...

Ciencia de Datos

Aprendiendo a hacer crecer modelos de aprendizaje automático

La nueva técnica LiGO acelera el entrenamiento de modelos de aprendizaje automático grandes, reduciendo el costo mone...

Inteligencia Artificial

¿Qué significa implementar un modelo de aprendizaje automático?

La Ciencia de Datos, un campo prometedor que continúa atrayendo a más y más empresas, está luchando por integrarse en...

Ciencia de Datos

El modelo de inteligencia artificial de NVIDIA para salvar la Tierra, obtiene financiamiento de la NASA.

Es impresionante ver las lluvias de meteoros iluminar el cielo nocturno. Sin embargo, la amenaza de objetos celestes ...

Aprendizaje Automático

Aprendizaje por Refuerzo Profundo mejora algoritmos de ordenamiento

La semana pasada, Google DeepMind publicó un artículo en la revista Nature en el que afirmaban haber encontrado un al...