Microsoft y los investigadores de Columbia proponen LLM-AUGMENTER un sistema de inteligencia artificial que aumenta un LLM de caja negra con un conjunto de módulos plug-and-play

Microsoft y Columbia proponen LLM-AUGMENTER, un sistema de IA que aumenta un LLM de caja negra con módulos plug-and-play.

Los grandes modelos de lenguaje (LLMs), como GPT-3, son ampliamente reconocidos por su capacidad para generar textos coherentes e informativos en lenguaje natural debido a su vasta cantidad de conocimiento mundial. Sin embargo, codificar este conocimiento en LLMs es imperfecto y puede llevar a distorsiones de memoria, lo que resulta en alucinaciones que pueden ser perjudiciales para tareas críticas. Además, los LLMs no pueden codificar toda la información necesaria para algunas aplicaciones, lo que los hace inadecuados para tareas sensibles al tiempo, como responder preguntas de noticias. Aunque se han propuesto varios métodos para mejorar los LLMs utilizando conocimiento externo, estos suelen requerir ajustar finamente los parámetros de los LLMs, lo que puede ser prohibitivamente costoso. En consecuencia, existe la necesidad de módulos plug-and-play que se puedan agregar a un LLM fijo para mejorar su rendimiento en tareas críticas.

El artículo propone un sistema llamado LLM-AUGMENTER que aborda los desafíos de aplicar Modelos de Lenguaje Grandes (LLMs) a aplicaciones críticas. El sistema está diseñado para mejorar un LLM de caja negra con módulos plug-and-play para fundamentar sus respuestas en conocimiento externo almacenado en bases de datos específicas de la tarea. También incluye una revisión iterativa de las indicaciones utilizando comentarios generados por funciones de utilidad para mejorar la puntuación de factualidad de las respuestas generadas por el LLM. La efectividad del sistema se valida empíricamente en diálogos orientados a tareas y escenarios de preguntas y respuestas de dominio abierto, donde reduce significativamente las alucinaciones sin sacrificar la fluidez y la informatividad de las reacciones. El código fuente y los modelos del sistema están disponibles públicamente.

El proceso de LLM-Augmenter involucra tres pasos principales. En primer lugar, al recibir una consulta del usuario, recupera evidencia de fuentes de conocimiento externas como búsquedas en la web o bases de datos específicas de la tarea. También puede conectar la evidencia cruda recuperada con el contexto relevante y razonar sobre la concatenación para crear “cadenas de evidencia”. En segundo lugar, LLM-Augmenter solicita a un LLM fijo como ChatGPT utilizando la evidencia consolidada para generar una respuesta fundamentada en la evidencia. Por último, LLM-Augmenter verifica la respuesta generada y crea un mensaje de retroalimentación correspondiente. Este mensaje de retroalimentación modifica e itera la consulta de ChatGPT hasta que la respuesta del candidato cumpla con los requisitos de verificación.

El trabajo presentado en este estudio muestra que el enfoque de LLM-Augmenter puede mejorar eficazmente los LLMs de caja negra con conocimiento externo pertinente a sus interacciones con los usuarios. Esta mejora reduce en gran medida el problema de las alucinaciones sin comprometer la fluidez y la calidad informativa de las respuestas generadas por los LLMs.

El rendimiento de LLM-AUGMENTER se evaluó en tareas de diálogo de búsqueda de información utilizando métricas automáticas y evaluaciones humanas. Se utilizaron métricas comúnmente utilizadas, como Knowledge F1 (KF1) y BLEU-4, para evaluar la superposición entre la salida del modelo y la respuesta humana de referencia y la superposición con el conocimiento que el humano utilizó como referencia durante la recopilación de datos. Además, los investigadores incluyeron estas métricas que mejor se correlacionan con el juicio humano en las tareas de soporte al cliente DSTC9 y DSTC11. También se consideraron otras métricas, como BLEURT, BERTScore, chrF y BARTScore, ya que son algunas de las métricas de generación de texto de mejor rendimiento en el diálogo.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

La sinfonía creativa de la inteligencia artificial generativa en la composición musical

Introducción La IA generativa es inteligencia artificial que puede producir nuevos datos, como libros de texto, imáge...

Inteligencia Artificial

Investigadores de UC Berkeley presentan Gorilla un modelo basado en LLaMA afinado que supera a GPT-4 en la escritura de llamadas a la API.

Un avance reciente en el campo de la Inteligencia Artificial es la introducción de los Modelos de Lenguaje Grandes (L...

Inteligencia Artificial

Luma AI lanza Genie un nuevo modelo de IA generativa en 3D que te permite crear objetos en 3D a partir de texto.

En el modelado 3D, crear objetos 3D realistas a menudo ha sido una tarea compleja y que consume mucho tiempo. Las per...

Inteligencia Artificial

Células complejas del pulpo son clave para su alta inteligencia

Investigadores exploraron la estructura neural del pulpo que define sus procesos de aprendizaje utilizando preparació...

Inteligencia Artificial

Registro KYC ahora hecho fácil usando IA

Los participantes del mercado de capitales pueden ahora despedirse de los largos y engorrosos procesos de registro de...

Inteligencia Artificial

Conoce a CityDreamer Un modelo generativo compositivo para ciudades 3D ilimitadas

La creación de entornos naturales en 3D ha sido objeto de mucha investigación en los últimos años. Se han realizado a...