Aprovechando los LLM con Recuperación de Información Una Demostración Simple

Aprovechando LLM con Recuperación de Información - Demostración Simple

Una demostración de integración de un LLM de pregunta-respuesta con componentes de recuperación

Imagen generada por el autor usando Stable Diffusion

Los modelos de lenguaje grandes (LLM) pueden almacenar una cantidad impresionante de datos factuales, pero sus capacidades están limitadas por el número de parámetros. Además, actualizar frecuentemente un LLM es costoso, mientras que los datos de entrenamiento antiguos pueden hacer que el LLM produzca respuestas desactualizadas.

Para abordar el problema anterior, podemos mejorar un LLM con herramientas externas. En este artículo, compartiré cómo integrar un LLM con componentes de recuperación para mejorar el rendimiento.

Recuperación mejorada (RA)

Un componente de recuperación puede proporcionar al LLM conocimientos más actualizados y precisos. Dado el input x, queremos predecir la salida p(y|x). A partir de una fuente de datos externa R, recuperamos una lista de contextos z=(z_1, z_2,..,z_n) relevantes para x. Podemos unir x y z y aprovechar toda la información valiosa de z para predecir p(y|x,z). Además, mantener actualizada la fuente de datos R también es mucho más económico.

Pipeline de Recuperación Mejorada (Imagen por el autor)

Demostración de Pregunta-Respuesta usando datos de Wikipedia + ChatGPT

En esta demostración, para una pregunta dada, realizamos los siguientes pasos:

  • Recuperar documentos de Wikipedia relacionados con la pregunta.
  • Proporcionar tanto la pregunta como la Wikipedia a ChatGPT.

Queremos comparar y ver cómo el contexto adicional afecta las respuestas de ChatGPT.

Conjunto de datos

Para el conjunto de datos de Wikipedia, podemos extraerlo de aquí. Utilizo el subconjunto “20220301.simple” con más de 200 mil documentos. Debido al límite de longitud del contexto, solo utilizo el título y la parte del resumen. Para cada documento, también agrego un ID de documento para el propósito de recuperación posterior. Por lo tanto, los ejemplos de datos se ven así.

{"title": "April", "doc": "April es el cuarto mes del año en los calendarios juliano y gregoriano, y se encuentra entre marzo y mayo. Es uno de los cuatro meses que tienen 30 días.", "id": 0}{"title": "August", "doc": "Augusto (Aug.) es el octavo mes del año en el calendario gregoriano, que viene entre julio y...

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Los empleados quieren ChatGPT en el trabajo. Los jefes se preocupan de que revelen secretos.

Algunos líderes corporativos han prohibido el uso de herramientas de inteligencia artificial generativa debido a preo...

Inteligencia Artificial

Conoce a Meditron una suite de modelos de lenguaje médicos de código abierto basados en LLaMA-2 (Large Language Models para Medicina)

Una de las aplicaciones más emocionantes de los Modelos de Lenguaje Amplio (LLMs, por sus siglas en inglés) es en med...

Inteligencia Artificial

Los efectos de ChatGPT en las escuelas y por qué está siendo prohibido.

Muchas escuelas están prohibiendo ChatGPT debido a preocupaciones de plagio, precisión y privacidad. Sin embargo, el ...

Inteligencia Artificial

Los principales sitios web están bloqueando a los rastreadores de IA para acceder a su contenido.

En la era de la IA, los editores están bloqueando de manera más agresiva los rastreadores porque, por ahora, no hay b...

Inteligencia Artificial

Mejorando los Modelos de Lenguaje con Indicaciones Analógicas para Mejorar el Razonamiento

En los últimos años, los modelos de lenguaje han demostrado una notable habilidad para entender y generar texto simil...

Inteligencia Artificial

Together AI presenta Llama-2-7B-32K-Instruct un avance en el procesamiento del lenguaje con contexto extendido

Ha surgido un desafío multifacético en el amplio campo del procesamiento del lenguaje natural: la capacidad de compre...