Esta investigación de IA presenta la integración de Lucene para una búsqueda vectorial potente con OpenAI Embeddings.

Esta investigación de IA integra Lucene para una búsqueda vectorial potente con OpenAI Embeddings.

Últimamente, se han logrado avances significativos en la aplicación de redes neuronales profundas al campo de la búsqueda en el aprendizaje automático, con un énfasis específico en el aprendizaje de representaciones dentro de la arquitectura del bi-codificador. En este marco, varios tipos de contenido, incluyendo consultas, pasajes e incluso multimedia, como imágenes, se transforman en “incrustaciones” compactas y significativas representadas como vectores densos. Estos modelos de recuperación densa, construidos sobre esta arquitectura, sirven como piedra angular para mejorar los procesos de recuperación dentro de los grandes modelos de lenguaje (LLMs, por sus siglas en inglés). Este enfoque ha ganado popularidad y ha demostrado ser altamente efectivo en mejorar las capacidades generales de los LLMs dentro del ámbito más amplio de la IA generativa en la actualidad.

La narrativa sugiere que debido a la necesidad de manejar numerosos vectores densos, las empresas deberían incorporar un “almacenamiento de vectores” o una “base de datos de vectores” dedicada en su “pila de IA”. Un mercado de nicho de nuevas empresas está promoviendo activamente estos almacenes de vectores como componentes innovadores y esenciales de la arquitectura empresarial contemporánea. Algunos defensores incluso han llegado tan lejos como para proponer que estas bases de datos de vectores podrían eventualmente reemplazar a las bases de datos relacionales de larga data.

Este documento presenta un punto de vista contrario a esta narrativa. Los argumentos giran en torno a un análisis de costo-beneficio sencillo, considerando que la búsqueda representa una aplicación existente y establecida en muchas organizaciones, lo que ha llevado a inversiones significativas previas en estas capacidades. La infraestructura de producción está dominada por el amplio ecosistema centrado en la biblioteca de búsqueda de código abierto Lucene, impulsada principalmente por plataformas como Elasticsearch, OpenSearch y Solr.

https://arxiv.org/abs/2308.14963

La imagen anterior muestra una arquitectura estándar de bi-codificador, donde los codificadores generan representaciones vectoriales densas (incrustaciones) a partir de consultas y documentos (pasajes). La recuperación se enmarca como una búsqueda de vecinos más cercanos en el espacio vectorial. Los experimentos se centraron en la colección de pruebas de clasificación de pasajes de MS MARCO, construida sobre un corpus que comprende aproximadamente 8.8 millones de pasajes extraídos de la web. Se utilizaron las consultas de desarrollo estándar y las consultas de las pistas de aprendizaje profundo TREC 2019 y TREC 2020 para la evaluación.

Los hallazgos sugieren que hoy es posible construir un prototipo de búsqueda vectorial utilizando directamente las incrustaciones de OpenAI con Lucene. La creciente popularidad de las API de incrustación respalda nuestros argumentos. Estas API simplifican el complejo proceso de generar vectores densos a partir de contenido, haciéndolo más accesible para los profesionales. De hecho, Lucene es todo lo que necesitas cuando estás construyendo ecosistemas de búsqueda hoy en día. Pero como sucede, solo el tiempo dirá si tienes razón. Finalmente, esto nos recuerda que ponderar los costos frente a los beneficios seguirá siendo una mentalidad primordial, incluso en el mundo de la IA en rápida evolución.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Google DeepMind presenta una nueva herramienta de IA que clasifica los efectos de 71 millones de mutaciones 'missense

El mayor desafío en la genética humana es sin duda la complejidad del genoma humano y la vasta diversidad de factores...

Inteligencia Artificial

Diferenciación automática con Python y C++ para el aprendizaje profundo

Esta historia explora la diferenciación automática, una característica de los marcos de trabajo modernos de Deep Lear...

Ciencias de la Computación

La inteligencia artificial se utilizó para crear una nueva canción final de los Beatles, según Paul McCartney.

El músico dice que utilizó tecnología para 'extraer' la voz de John Lennon de una vieja demo y completar una canción ...

Inteligencia Artificial

Conoce a BLIVA un modelo de lenguaje multimodal grande para manejar mejor preguntas visuales ricas en texto

Recientemente, los Modelos de Lenguaje Grande (LLMs) han desempeñado un papel crucial en el campo de la comprensión d...