CassIO La mejor biblioteca para IA generativa inspirada por OpenAI

CassIO, la mejor biblioteca para IA generativa inspirada por OpenAI.

Si eres un usuario frecuente de ChatGPT, sabrás que tiende a divagar en lo que se conoce como alucinaciones. Una gran colección de palabras estadísticamente correctas pero que no tienen ninguna base en la realidad. Hace unos meses, una solicitud sobre el uso de Apache Cassandra para modelos de lenguaje grandes (LLMs) y LangChain resultó en una respuesta curiosa. ChatGPT informó que no solo Cassandra era una buena elección de herramienta al crear LLMs, sino que OpenAI utilizaba Cassandra con una biblioteca de Python con licencia de MIT que llamaban CassIO. Nos adentramos en el agujero del conejo y, mediante más preguntas, ChatGPT describió muchos detalles sobre cómo se utilizaba CassIO. Incluso incluyó algo de código de ejemplo y un sitio web. La investigación posterior no encontró evidencia alguna de CassIO fuera de las respuestas de ChatGPT, pero la semilla estaba sembrada. Si esta biblioteca no existía, debía existir, y comenzamos a trabajar en ella poco después.

La mejor alucinación de todas.

¿Quién es el verdadero CassIO?

¿Qué fue esta gran idea que inspiró ChatGPT (y, por asociación, OpenAI)? Una gran biblioteca de Python que permite a los desarrolladores hacer más con menos. DataStax y Anant se unieron para desarrollar CassIO y hacer que la integración de Cassandra con inteligencia artificial generativa y otras cargas de trabajo de aprendizaje automático sea fluida. Su principal objetivo es abstraer el proceso de acceso a la base de datos de Cassandra, incluidas sus capacidades de búsqueda vectorial, ofreciendo un conjunto de herramientas listas para usar que minimizan la necesidad de código adicional. Como resultado, los desarrolladores pueden centrarse en diseñar e implementar sus sistemas de inteligencia artificial, sabiendo que CassIO se ha encargado de las complejidades subyacentes de la base de datos. El resultado es acceso a una base de datos probada para escala asequible y baja latencia. La esencia de CassIO se trata de facilitar y simplificar el proceso de implementación.

La fortaleza de CassIO radica en su agnosticismo hacia los marcos de inteligencia artificial específicos. No se preocupa por los detalles de implementación específicos de interfaces como LangChain, LlamaIndex, Microsoft Semantic Kernel u otras herramientas generativas de inteligencia artificial. En cambio, proporciona un conjunto de “adaptadores delgados” que se adaptan a las interfaces del marco mientras utilizan las capacidades de CassIO. Esto permite a CassIO cerrar la brecha entre su aplicación de inteligencia artificial y la base de datos, lo que le permite aprovechar el poder de Cassandra sin enredarse en sus detalles.

Integración con LangChain

LangChain automatiza la mayoría de las tareas de gestión y las interacciones con LLMs. Ofrece soporte para memoria, búsqueda de similitud basada en vectores, abstracción avanzada de plantillas de solicitudes y una gran cantidad de otras características. CassIO se integra perfectamente con LangChain, ampliando las herramientas específicas de Cassandra para agilizar tareas como:

  • Un módulo de memoria para LLMs que utiliza Cassandra para almacenamiento, que puede recordar intercambios recientes en una interacción de chat o incluso mantener un resumen de toda la conversación pasada.
  • Una función para almacenar en caché las respuestas de LLM en Cassandra, lo que ahorra en latencia y tokens cuando es posible. Inyección automática de datos de Cassandra en una solicitud o dentro de una conversación de LLM más larga.
  • Soporte para “parcialización” de solicitudes, dejando parte de la entrada sin especificar para un suministro futuro.
  • Inyección automática de datos desde un almacén de características Feast (respaldado potencialmente por Cassandra) en una solicitud.

Estos componentes trabajan juntos para agilizar el proceso de incorporación de datos en las solicitudes y garantizar una interacción fluida entre el LLM y la base de datos.

La inclusión de capacidades de búsqueda de vectores en Cassandra y DataStax Astra DB ha integrado una característica clave en una base de datos ya popular para datos transaccionales. La reputación de Cassandra en cuanto a escala elevada significa que tienes un único lugar para almacenar y procesar datos sin moverlos en operaciones costosas. La adición de la búsqueda de vectores ha abierto puertas a una serie de herramientas “conscientes semánticamente” disponibles en CassIO, como:

  • Una caché de respuestas de LLM que no dependen de la redacción exacta de una consulta.
  • Un “índice semántico” que puede almacenar una base de conocimientos y recuperar partes relevantes para construir la mejor respuesta a una pregunta dada. Esta herramienta se puede adaptar para satisfacer muchas necesidades específicas y se puede configurar para recuperar información diversa para maximizar la información real que fluye hacia la respuesta.
  • Un elemento de “memoria semántica” para interacciones de chat de LLM, que puede recuperar intercambios pasados relevantes incluso si ocurrieron en el pasado lejano.

La combinación de CassIO y LangChain continúa expandiendo y refinando estas capacidades con el tiempo para satisfacer las necesidades en constante evolución de la gestión de LLM. El estado actual de la técnica consiste en encadenar solicitudes para obtener respuestas más precisas de LLMs. En un documento reciente que describe una técnica llamada “tree-of-thought”, el papel de la búsqueda de vectores desempeña un papel crítico en la persistencia de una solicitud a la siguiente. A medida que estas ideas pasan de la academia a la producción, Cassandra será una parte importante de la implementación.

Próxima indicación: ¿Qué hay por delante para CassIO?

Como una herramienta en constante evolución, CassIO está creciendo rápidamente, con nuevos desarrollos y actualizaciones añadidos con frecuencia. En el momento de escribir esto, CassIO es compatible con LangChain, y LlamaIndex estará disponible próximamente. El objetivo a largo plazo de este proyecto es ofrecer soporte para memoria de alta escala para agentes de IA autónomos como el proyecto JARVIS. Los agentes con LLMs son un desarrollo emocionante que tendrá un impacto increíble en muchas industrias con tareas complejas. Estos agentes deberán realizar un seguimiento de muchos aspectos de datos e interacciones, y Cassandra es la base de datos adecuada para el trabajo. Confiable y de alto rendimiento.

Un próximo campamento de entrenamiento, “NoCode, Data & AI: LLM Bootcamp con Cassandra”, ofrecerá a los desarrolladores la oportunidad de trabajar prácticamente con la biblioteca para construir un chat bot. ¡Busca más actividades como esta que se acercan a una ciudad cerca de ti! Animamos a los usuarios que exploran CassIO a informar problemas, participar en los foros y ayudarnos a mejorar esta alucinación que se materializa rápidamente.

¿Quién sabe cómo juzgará la historia este momento? ¿Fue una filtración de información interna de OpenAI? O, pensando un poco más oscuro, ¿es este el primer paso de la IA para hacer que los humanos hagan su voluntad? En cualquier caso, los desarrolladores ahora tienen una biblioteca fácil de usar para aprovechar la escala casi infinita de Cassandra al adentrarse en el mundo de la IA generativa. ChatGPT nos ha dado un regalo, ¿entonces qué vas a construir con esto?

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

¿Podemos transformar texto en gráficos vectoriales científicos? Este artículo de IA presenta AutomaTikZ y explica el poder de TikZ

Los últimos avances en la generación de texto a imagen han hecho posible la creación de gráficos detallados a partir ...

Inteligencia Artificial

Un caso que rima con Microsoft

La lección predominante del caso de Microsoft, según los abogados antimonopolio, es que el escrutinio de Washington p...

Inteligencia Artificial

Esta investigación de IA presenta MeshGPT Un enfoque novedoso para la generación de formas que produce mallas directamente en forma de triángulos

MeshGPT es propuesto por investigadores de la Universidad Técnica de Munich, Politécnico de Turín, AUDI AG como un mé...

Inteligencia Artificial

El mito de la IA de 'código abierto

Un nuevo análisis muestra que las herramientas de IA de código abierto, como Llama 2, siguen siendo controladas por g...