¿Reemplazarán los LLMs a los Grafos de Conocimiento? Los investigadores de Meta proponen ‘Head-to-Tail’ un nuevo punto de referencia para medir el conocimiento factual de los Modelos de Lenguaje Grandes

¿Reemplazarán LLMs a los Grafos de Conocimiento? Investigadores de Meta proponen 'Head-to-Tail', un nuevo punto de referencia para medir conocimiento factual de Modelos de Lenguaje Grandes.

Los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) han recibido mucha apreciación por sus increíbles capacidades. Son capaces de imitar a los humanos y generar contenido como lo haría un ser humano. Los modelos de lenguaje grandes pre-entrenados (LLMs), como ChatGPT y LLaMA, han demostrado aptitudes asombrosas para entender el material y responder a consultas frecuentes. Varios estudios han demostrado su aptitud para internalizar conocimiento y responder a preguntas. Aunque los LLMs han avanzado significativamente, a menudo carecen de una comprensión sofisticada de matices específicos del dominio y tienden a producir información incorrecta, conocida como alucinaciones. Esto destaca los obstáculos significativos para mejorar la precisión de los LLMs y reducir la incidencia de respuestas alucinatorias.

La discusión relacionada con los LLMs se ha centrado principalmente en tres áreas principales, que son reducir las alucinaciones en las respuestas generadas por los LLMs, mejorar la precisión factual de los LLMs y especular sobre si los LLMs podrían eventualmente reemplazar los Gráficos de Conocimiento (KGs, por sus siglas en inglés) como medios para almacenar el conocimiento del mundo en un formato simbólico. Recientemente, un equipo de investigadores de Meta Reality Labs ha optado por un enfoque fresco para responder a estas preguntas, tratando de determinar cuánta información poseen realmente los LLMs.

Al responder a la pregunta de qué tan versados son los LLMs en términos de conocimiento, el equipo ha discutido dos aspectos. En primer lugar, puede ser difícil cuestionar directamente el conocimiento contenido dentro de un LLM al principio. Incluso si el conocimiento ya está incorporado en los parámetros del modelo, las alucinaciones podrían ser causadas por falta de conocimiento o un modelo generativo defectuoso. El estudio sugiere usar la corrección como una métrica para evaluar aproximadamente el grado de conocimiento dentro de un LLM. Esto implica evaluar la capacidad del modelo para responder preguntas claras y precisas como “¿Dónde nació el jugador de baloncesto Michael Jordan?” También se le pide al LLM que proporcione respuestas concisas y admita incertidumbre utilizando la palabra ‘inseguro’ cuando su confianza es baja.

En segundo lugar, no existe un punto de referencia fácilmente accesible que refleje con precisión la diversidad de los intereses de los usuarios o la amplitud de la información en el mundo. Incluso los gráficos de conocimiento más completos muestran lagunas en el conocimiento, especialmente cuando se trata de hechos menos conocidos. Los registros de consultas de los principales LLMs o motores de búsqueda no están disponibles públicamente.

Para abordar todas las limitaciones, el equipo ha introducido un punto de referencia que han creado llamado “Head-to-Tail” (De la Cabeza a la Cola). Este punto de referencia consiste en una colección de 18,000 pares de preguntas y respuestas (QA) que se han dividido en hechos de cabeza, torso y cola según la popularidad de sus respectivos temas. Estas categorías reflejan diferentes niveles de familiaridad pública. El equipo ha creado un método de evaluación automatizado y un conjunto de medidas que reflejan de cerca la amplitud de conocimiento que un LLM ha asimilado competentemente para evaluar el conocimiento mantenido por los LLMs.

El núcleo de la investigación es la evaluación de 14 LLMs que están disponibles para el público en general. Los resultados mostraron que los LLMs existentes todavía necesitan mejorar significativamente en términos de perfeccionar su comprensión de los datos factuales. Esto es especialmente cierto para la información que se encuentra en el área del torso a la cola y que concierne a organizaciones menos conocidas.

En conclusión, esta investigación examina el conocimiento factual de los LLMs utilizando un punto de referencia propuesto recientemente y técnicas de evaluación de vanguardia. El trabajo aporta una contribución sustancial a la discusión continua sobre la confiabilidad y los avances prospectivos de los grandes modelos de lenguaje en la incorporación de información factual, abordando problemas de investigación significativos y describiendo hallazgos específicos.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Desde Guangzhou hasta Los Ángeles, los fabricantes de automóviles deslumbran con vehículos impulsados por inteligencia artificial

Buenas noticias para los amantes de los autos: Dos aclamadas exposiciones de automóviles, que se llevan a cabo desde ...

Inteligencia Artificial

Conoce CodeGPT Una nueva herramienta de generación de código que está causando sensación en la comunidad de IA

Nuevo entre las herramientas de generación de código de IA, CodeGPT se está convirtiendo rápidamente en favorito entr...

Inteligencia Artificial

Conoce a los razonadores RAP y LLM Dos marcos basados en conceptos similares para el razonamiento avanzado con LLMs

Cada día que pasa trae un progreso notable en los Modelos de Lenguaje Grandes (LLMs), lo que lleva a herramientas y a...

Inteligencia Artificial

Esta investigación de IA revela el LSS Transformer Un enfoque revolucionario de IA para el entrenamiento eficiente de secuencias largas en los Transformers.

Una nueva investigación de IA ha presentado el Long Short-Sequence Transformer (LSS Transformer), un método eficiente...

Investigación

Usando reflexiones para ver el mundo desde nuevos puntos de vista.

Un nuevo sistema de visión por computadora convierte cualquier objeto brillante en una especie de cámara, lo que perm...

Inteligencia Artificial

El Proceso de IA

La IA todavía es considerada un campo relativamente nuevo, por lo que realmente no existen guías o estándares como SW...