Chat con Documentos de la Empresa’ utilizando Azure OpenAI

Chat con Documentos de la Empresa' con Azure OpenAI

Los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) como ChatGPT almacenan un vasto repositorio de conocimiento dentro de sus miles de millones de parámetros, ya que se entrenan con cantidades masivas de texto de internet. Sin embargo, su conocimiento es tan bueno como los datos de texto en los que fueron entrenados. En el caso de ChatGPT, esto significa que no tiene conocimiento de nada después de septiembre de 2021 ni de ningún dato privado almacenado detrás de cortafuegos, por ejemplo, datos de empresas propietarias.

Hasta ahora, la forma más popular y accesible de mejorar esta limitación de conocimiento es a través de un método llamado Generación con Recuperación Mejorada o RAG (el otro método es el ajuste fino). Funciona almacenando documentos basados en texto (que el LLM no conoce) en una base de datos externa. Cuando un usuario le hace una pregunta al LLM, el sistema recupera documentos relevantes de esta base de datos y se los proporciona al LLM para que los utilice como referencia para responder la pregunta del usuario. Esto se llama aprendizaje en contexto o, más rudamente, “relleno de indicaciones”. En la mayoría de los casos de uso, el método RAG es preferible al ajuste fino del LLM, que generalmente es más complicado, requiere hardware especializado (GPUs) y habilidades específicas (por ejemplo, aprendizaje automático) y, en general, es más costoso de implementar.

Microsoft Azure ha lanzado una solución de inicio rápido para sus clientes que aprovecha el método RAG para aumentar los LLMs con conocimientos de documentos de la empresa. Como agente conversacional, utiliza LLMs de OpenAI (gpt-3.5/ChatGPT o gpt-4) alojados en la infraestructura de Azure (y no en la de OpenAI) que son llamados por la aplicación a través de puntos finales de la API de completado. El uso de esta aplicación está cubierto por la rigurosa política de protección de datos de Azure, por lo que cualquier interacción del usuario y los datos compartidos durante su uso se mantienen seguros y privados. La tarificación se basa en el uso por token.

La siguiente interacción de chat de muestra demuestra la aplicación utilizando un documento de ejemplo sobre un programa de préstamo de calamidad de la Seguridad Social como referencia. Se sabe que los LLMs “alucinan” o dan respuestas falsas o inventadas. Para mitigar esto, cada respuesta se devuelve con una cita que hace referencia al documento fuente en el que se basó la respuesta. Esto permite al usuario verificar la veracidad de una respuesta dada.

Cada respuesta va acompañada de una cita (en amarillo). Haz clic para ampliar.

Opciones de implementación

La solución se puede implementar como una aplicación web o como un bot de agente virtual de Power (PVA) directamente desde el entorno de juego de Chat de Azure OpenAI. Es necesario configurar la fuente de datos y luego implementarla en función de las dos opciones de implementación disponibles.

Puedes configurar el 'mensaje del sistema' del chatbot antes de implementar la aplicación.

Aplicación web

La aplicación web es una interfaz básica de chat a la que se puede acceder a través de navegadores en computadoras portátiles o dispositivos móviles. La aplicación web ha sido lanzada como código abierto por Microsoft con una licencia MIT, que permite su uso comercial. El repositorio de GitHub se puede encontrar aquí. Los clientes son libres de personalizar la aplicación según sea necesario. La aplicación web se puede implementar “tal cual” con un clic como un servicio de aplicaciones alojado en Azure. Esto se implementará con el logotipo de Azure y los esquemas de color predeterminados.

Implementación de muestra con marca personalizada.

Agente virtual de Power

Los bots de PVA se pueden implementar en sitios web de la empresa. También tiene integración nativa y se puede integrar fácilmente en otros productos de Microsoft, como sitios de Sharepoint y MS Teams.

Bot de PVA incrustado en un sitio de Sharepoint. Fuente de la imagen
Bot de PVA incrustado en MS Teams. Fuente de la imagen

Cargando documentos de la empresa en la base de conocimientos del Chatbot

Los siguientes tipos de documentos se pueden cargar en la base de datos del bot: archivos txt, PDF, archivos de Word, archivos de PowerPoint y HTML. Se recomienda utilizar documentos con texto enriquecido como políticas de la empresa, contratos, instrucciones de cómo hacer algo, etc., para este chatbot. No se recomienda cargar datos tabulares, como los almacenados en Excel/CSV o bases de datos relacionales. Los documentos cargados se almacenarán en un blob de almacenamiento dentro del entorno Azure del cliente y se mantendrán privados.

El chatbot consulta datos desde un índice en el servicio de búsqueda cognitiva de Azure. Tiene un indexador intuitivo que puede cargar todos los tipos de documentos admitidos desde una ubicación única (por ejemplo, una carpeta local o un blob de Azure) y en el índice.

El servicio de búsqueda (que compara la consulta/entrada del usuario con el documento relevante del índice que se utilizará como base para la respuesta del chatbot) admite comparación léxica o por palabras clave basada en el algoritmo de búsqueda BM25, así como algoritmos de búsqueda basados en incrustación/vector como la similitud coseno o el producto punto. También admite una combinación de ambos: una combinación de búsqueda de texto completo y búsqueda de vector.

Referencias:

Azure OpenAI en tus datos (vista previa)

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Los robots submarinos podrían abrir paso a un futuro de alta tecnología para la minería en aguas profundas

Renee Grogan, desarrolladora de soluciones mineras en Impossible Metals, visualiza a los robots submarinos como clave...

Inteligencia Artificial

Este chip centrado en la Inteligencia Artificial redefine la eficiencia duplicando el ahorro de energía al unificar el procesamiento y la memoria.

En un mundo donde la demanda de inteligencia local basada en datos está en aumento, el desafío de permitir que los di...

Inteligencia Artificial

Investigadores de NVIDIA y la Universidad de Tel Aviv presentan Perfusion una red neuronal compacta de 100 KB con un tiempo de entrenamiento eficiente.

Los modelos de texto a imagen (T2I) han inaugurado una nueva era de flexibilidad tecnológica, otorgando a los usuario...

Inteligencia Artificial

Se analiza el sonido de la tos para identificar la gravedad de los pacientes de COVID-19

Un estudio identificó características tos que pueden ayudar a evaluar la gravedad de la COVID-19 y permitir el monito...

Inteligencia Artificial

Este boletín de IA es todo lo que necesitas #65

Esta semana en IA, tuvimos avances en la regulación de la IA desde el Capitolio líderes tecnológicos como Elon Musk y...

Investigación

Investigadores de LinkedIn y UC Berkeley proponen un nuevo método para detectar fotos de perfil generadas por IA.

La sofisticación de los perfiles falsos ha aumentado junto con la proliferación de medios generados por inteligencia ...