¿Pueden los LLM ejecutarse de forma nativa en tu iPhone? Conoce MLC-LLM un marco abierto que permite llevar los modelos de lenguaje (LLMs) directamente a una amplia clase de plataformas con aceleración de GPU.

¿Los LLM pueden ejecutarse en el iPhone? Conoce MLC-LLM, un marco abierto para llevar LLMs a plataformas con aceleración de GPU.

Los Modelos de Lenguaje Grandes (LLMs) son el tema más candente en el campo de la Inteligencia Artificial. Se ha avanzado bastante en una amplia gama de industrias como la salud, las finanzas, la educación, el entretenimiento, etc. Los conocidos modelos de lenguaje grandes como GPT, DALLE y BERT realizan tareas extraordinarias y facilitan la vida. Mientras que GPT-3 puede completar códigos, responder preguntas como los humanos y generar contenido con solo una breve indicación en lenguaje natural, DALLE 2 puede crear imágenes en respuesta a una simple descripción textual. Estos modelos están contribuyendo a grandes transformaciones en la Inteligencia Artificial y el Aprendizaje Automático, y ayudando a llevarlos a un cambio de paradigma.

Con el desarrollo de un número cada vez mayor de modelos, surge la necesidad de servidores potentes para satisfacer sus extensos requisitos computacionales, de memoria y de aceleración de hardware. Para que estos modelos sean súper efectivos y eficientes, deben poder ejecutarse de forma independiente en dispositivos de consumo, lo que aumentaría su accesibilidad y disponibilidad y permitiría a los usuarios acceder a potentes herramientas de IA en sus dispositivos personales sin necesidad de conexión a Internet o de depender de servidores en la nube. Recientemente, se ha introducido MLC-LLM, que es un marco abierto que permite llevar los LLM directamente a una amplia variedad de plataformas como CUDA, Vulkan y Metal, también con aceleración de GPU.

MLC LLM permite implementar modelos de lenguaje en una amplia gama de plataformas de hardware, incluyendo CPU y GPU, y aplicaciones nativas. Esto significa que cualquier modelo de lenguaje puede ejecutarse en dispositivos locales sin necesidad de un servidor o infraestructura basada en la nube. MLC LLM proporciona un marco productivo que permite a los desarrolladores optimizar el rendimiento del modelo para sus propios casos de uso, como el Procesamiento del Lenguaje Natural (NLP) o la Visión por Computadora. Incluso puede acelerarse utilizando GPU locales, lo que permite ejecutar modelos complejos con alta precisión y velocidad en dispositivos personales.

Se han proporcionado instrucciones específicas para ejecutar LLMs y chatbots de forma nativa en dispositivos iPhone, Windows, Linux, Mac y navegadores web. Para usuarios de iPhone, MLC LLM proporciona una aplicación de chat para iOS que se puede instalar a través de la página de TestFlight. La aplicación requiere al menos 6 GB de memoria para funcionar sin problemas y se ha probado en iPhone 14 Pro Max y iPhone 12 Pro. La velocidad de generación de texto en la aplicación de iOS puede ser inestable en ocasiones y puede funcionar lenta al principio antes de recuperar la velocidad normal.

Para usuarios de Windows, Linux y Mac, MLC LLM proporciona una interfaz de línea de comandos (CLI) para chatear con el bot en la terminal. Antes de instalar la aplicación CLI, los usuarios deben instalar algunas dependencias, incluyendo Conda, para gestionar la aplicación y el controlador Vulkan más reciente para usuarios de GPU NVIDIA en Windows y Linux. Después de instalar las dependencias, los usuarios pueden seguir las instrucciones para instalar la aplicación CLI y empezar a chatear con el bot. Para usuarios de navegadores web, MLC LLM proporciona un proyecto complementario llamado WebLLM, que implementa modelos de forma nativa en los navegadores. Todo se ejecuta dentro del navegador sin soporte de servidor y se acelera con WebGPU.

En conclusión, MLC LLM es una increíble solución universal para implementar LLMs de forma nativa en diversas plataformas de hardware y aplicaciones nativas. Es una gran opción para los desarrolladores que deseen construir modelos que puedan ejecutarse en una amplia gama de dispositivos y configuraciones de hardware.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

¿Cómo sabemos qué tan inteligentes son los sistemas de IA?

Una tradición en IA es someter a los sistemas a pruebas diseñadas para evaluar la inteligencia humana, pero hay varia...

Ciencias de la Computación

Esperanza, Miedo y AI

Encuestamos a 2,000 personas sobre cómo utilizan la IA, qué quieren que haga y qué les asusta más de ella.

Inteligencia Artificial

Las prácticas de contraseña obsoletas están extendidas

Los investigadores dicen que la mayoría de los sitios web más populares del mundo ponen en riesgo a los usuarios y su...