Construyendo sistemas LLM confiables con esquemas

Construyendo sistemas LLM confiables

Los modernos modelos de lenguaje grandes (LLMs) tienen capacidades impresionantes, pero pueden ser difíciles de integrar en flujos de trabajo y sistemas complejos, lo que lleva a resultados poco confiables y duplicación innecesaria de código. Outlines, creado por Rémi Louf en Normal Computing, ofrece una solución a estos problemas.

Outlines permite la construcción de sistemas LLM más confiables al mejorar la forma en que se gestionan las indicaciones y ofrecer un mayor control sobre las salidas generadas. Esto se logra, en parte, a través de su enfoque único basado en muestreo, que proporciona una interpretación probabilística de los resultados.

Outlines está diseñado para integrarse sin problemas con el ecosistema más amplio de Python, lo que permite que la generación de salidas del modelo de lenguaje se entrelace con el flujo de control estándar y las llamadas de funciones personalizadas. Esta combinación de características ayuda a evitar los problemas habituales asociados con la integración del modelo de lenguaje.

La clave para mejorar la confiabilidad de los sistemas que incorporan LLMs radica en el desarrollo de una interfaz bien estructurada entre las salidas del LLM y el código de usuario personalizado. Outlines proporciona herramientas que permiten el control de la generación del modelo de lenguaje, lo que hace que la salida sea más predecible. Las funciones planificadas para el futuro incluyen la capacidad de generar JSON que cumpla con un esquema predefinido y código que cumpla con una gramática determinada.

La escritura de indicaciones mediante la concatenación de cadenas a menudo se vuelve engorrosa y propensa a errores. La lógica utilizada para construir estas indicaciones tiende a enredarse con el resto del programa. Esto puede oscurecer la estructura de la indicación renderizada, lo que dificulta su comprensión y modificación.

Para abordar estos problemas, Outlines proporciona primitivas de indicación robustas. Estas primitivas separan eficazmente el proceso de indicación de la lógica de ejecución. Esta separación conduce a implementaciones más simples y comprensibles de técnicas como generaciones de pocos ejemplos, ReAct y meta-indicación.

Outlines también ofrece una función llamada “funciones de plantilla” que aprovecha el motor de plantillas Jinja2 para construir eficientemente indicaciones complejas. Se disponen de filtros Jinja personalizados para simplificar la creación de agentes como AutoGPT, BabyAGI, ViperGPT y Transformers Agent. Al eliminar el código de indicación redundante, estos filtros facilitan la construcción y modificación de modelos de generación de lenguaje.

Outlines revoluciona la integración de LLM con su enfoque único de muestreo, mejorando la gestión de indicaciones y el control de las salidas. Su combinación con Python, la creación eficiente de indicaciones con plantillas Jinja2 y las características futuras como la generación de JSON conforme a un esquema y la vectorización de llamadas al modelo establecen un estándar pionero en la integración de sistemas LLM. A través de una infraestructura en la nube de complementos extensible, Outlines pronto admitirá modelos de HuggingFace, OpenAI y Normal Computing. El trabajo planificado adicional de Normal incluye la capacidad de prototipar en una aplicación web gráfica. A medida que navegamos por una era cada vez más dependiente de la IA y el aprendizaje automático, Outlines promete ser una herramienta crítica para dar forma a este paisaje en rápida evolución.

Puede ver el repositorio completo aquí.

Sobre los autores:

Rémi Louf es un estadístico (algunos dicen científico de datos) e ingeniero de software en Normal Computing, Inc. Está particularmente interesado en estadísticas bayesianas y modelado generativo, muestreo de MCMC y cómputo simbólico, que se traducen en mi vida profesional y en los proyectos de código abierto a los que contribuyo. Es miembro principal de los proyectos Aesara y Blackjax. Rémi tiene un doctorado en Física del Institut de Physique Théorique.

Dan Gerlanc es el Vicepresidente de Ingeniería en Normal Computing, Inc. Comenzó su carrera en finanzas cuantitativas y pasó la última década dirigiendo departamentos de ingeniería en diversas industrias y organizaciones. Técnicamente, su especialidad es la construcción de sistemas en la intersección de la ingeniería de software y las aplicaciones de IA. Es miembro principal de los proyectos Aesara y bootES, entre otros. Dan tiene una licenciatura en Literatura Comparada de Williams College.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Aumenta la productividad en Amazon SageMaker Studio Presentamos JupyterLab Spaces y herramientas de inteligencia artificial generativa

Amazon SageMaker Studio ofrece un conjunto amplio de entornos de desarrollo integrados completamente administrados (I...

Noticias de Inteligencia Artificial

Traje de Realidad Virtual podría ayudarte a 'sentir' cosas en el Metaverso.

Los ingenieros en la ETH Zurich de Suiza construyeron un traje táctil de cuerpo completo para amplificar las experien...

Inteligencia Artificial

Principales herramientas de IA generativa en generación de código/codificación (2023)

Los avances rápidos en tecnologías de IA generativa han llevado a un aumento en el interés y el progreso en aplicacio...

Inteligencia Artificial

xAI de Elon Musk entrenado con el Feed de Twitter

Elon Musk, el visionario detrás de empresas como Tesla y SpaceX, ha vuelto a centrar su atención en el campo de la in...