Potenciando la IA en Dispositivos Qualcomm y Meta colaboran con la tecnología Llama 2

Potenciando la IA en Dispositivos Qualcomm y Meta colaboran con tecnología Llama 2

El lanzamiento de Llama 2, la nueva versión de código abierto de Meta, ha generado discusiones sobre los casos de uso de los grandes modelos de lenguaje (LLMs, por sus siglas en inglés). Sin embargo, acceder y ejecutar Llama 2 en hardware local sigue siendo una barrera significativa para muchos. Para abordar este problema y democratizar el acceso al poder de Llama 2, Meta se ha asociado con Qualcomm para optimizar el modelo para su uso en dispositivos, aprovechando los chips Snapdragon habilitados para IA de Qualcomm.

La colaboración entre Meta y Qualcomm tiene como objetivo permitir la implementación de Llama 2 en dispositivos, aprovechando las capacidades de los nuevos chips Snapdragon habilitados para IA. Al ejecutar el modelo en el dispositivo, los desarrolladores pueden reducir los costos de computación en la nube y proporcionar a los usuarios una mayor privacidad, ya que no se transmite ningún dato a servidores externos. El procesamiento de IA en el dispositivo también permite la generación de IA sin conexión a Internet y permite la personalización de los modelos según las preferencias de los usuarios.

El procesador Hexagon de Qualcomm dota a sus chips Snapdragon de diversas capacidades de IA, incluyendo inferencia de mosaico micro, núcleos tensoriales y procesamiento dedicado para cargas de trabajo de SegNet, escalares y vectoriales. La integración de Llama 2 en la Pila de IA de Qualcomm optimiza aún más la ejecución de modelos de IA en dispositivos.

Meta ha aprendido de la filtración del primer modelo LLaMA, que inicialmente solo estaba disponible para investigadores e instituciones académicas. Sin embargo, la filtración en Internet provocó una explosión de innovación en LLM de código abierto, lo que resultó en varias versiones mejoradas de LLaMA. La comunidad de código abierto contribuyó significativamente, creando versiones que se pueden ejecutar en un dispositivo, lo que hace que los LLM sean accesibles para un público más amplio.

En respuesta a la filtración, Meta ha adoptado un enfoque diferente con el lanzamiento de Llama 2, abrazando la apertura y la colaboración. La asociación con Qualcomm brinda al fabricante de chips información detallada sobre el funcionamiento interno del modelo, lo que les permite optimizarlo para un mejor rendimiento en los chips Snapdragon. Se espera que esta colaboración coincida con el lanzamiento del chip Snapdragon 8 Gen 3 de Qualcomm en 2024.

Se espera que la comunidad de código abierto también desempeñe un papel crucial en el desarrollo de Llama 2. Al combinar el impulso de la industria hacia la IA en el dispositivo con el ecosistema LLM de código abierto, este movimiento se considera el primero de muchos pasos hacia el fomento de un vibrante ecosistema de IA en el dispositivo.

Los expertos predicen que los LLM de código abierto podrían dar lugar a una nueva generación de generación de contenido impulsada por IA, asistentes inteligentes, aplicaciones de productividad y más. La capacidad de ejecutar LLM de forma nativa en el dispositivo desbloquea numerosas posibilidades para el procesamiento de IA en el dispositivo y respalda la creciente tendencia de capacidades de IA en el borde, como lo demuestra la inclusión de un motor neuronal en el chip M1 de Apple y el conjunto de herramientas Hybrid AI Loop de Microsoft.

En general, la asociación entre Meta y Qualcomm representa un paso significativo hacia la democratización del acceso a los modelos de IA, abriendo emocionantes oportunidades para que los desarrolladores creen aplicaciones impulsadas por IA y abriendo una nueva era de un ecosistema de IA en el dispositivo similar a la explosión de la tienda de aplicaciones con iPhones.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

MLOps para la inferencia por lotes con monitoreo y reentrenamiento del modelo utilizando Amazon SageMaker, HashiCorp Terraform y GitLab CI/CD

En esta publicación, describimos cómo crear un flujo de trabajo de MLOps para la inferencia por lotes que automatiza ...

Ciencia de Datos

Mejorando la inferencia de PyTorch en CPU desde la cuantificación posterior al entrenamiento hasta el multihilo.

Acelere el tiempo de inferencia en CPU con la selección de modelos, la cuantización posterior al entrenamiento con ON...

Inteligencia Artificial

Google AI presenta STUDY Un sistema recomendador consciente socialmente y causal-temporal para audiolibros en un entorno educativo

La lectura beneficia enormemente a los estudiantes jóvenes, desde una mejora en las habilidades lingüísticas y de vid...

Inteligencia Artificial

Automatiza la preetiquetado de PDFs para Amazon Comprehend

Amazon Comprehend es un servicio de procesamiento del lenguaje natural (NLP, por sus siglas en inglés) que proporcion...