Deci presenta DeciCoder un modelo de lenguaje grande de código abierto con 1 billón de parámetros para generación de código.

Deci presenta DeciCoder, un gran modelo de lenguaje de código abierto con 1 billón de parámetros para generar código.

En el mundo acelerado de la IA, la generación eficiente de código es un desafío que no se puede pasar por alto. Con la aparición de modelos cada vez más complejos, la demanda de generación precisa de código ha aumentado, pero también lo han hecho las preocupaciones sobre el consumo de energía y los costos operativos. Abordando esta brecha de eficiencia de frente, Deci, una empresa pionera en IA, presenta DeciCoder, un Modelo de Lenguaje Grande (LLM) de código abierto de 1 billón de parámetros que tiene como objetivo redefinir el estándar de oro en generación eficiente y precisa de código.

Los modelos de generación de código existentes han luchado con el delicado equilibrio entre precisión y eficiencia. Un jugador destacado en esta arena, SantaCoder, si bien es ampliamente utilizado, ha mostrado limitaciones en el rendimiento y el consumo de memoria. Aquí es donde DeciCoder emerge como una solución transformadora. Basado en la base de eficiencia de IA de Deci, DeciCoder aprovecha una arquitectura de vanguardia y AutoNAC, una tecnología de Búsqueda de Arquitectura Neural propietaria. A diferencia de los enfoques manuales y laboriosos que a menudo son insuficientes, AutoNAC automatiza el proceso de generación de arquitecturas óptimas. Esto resulta en una arquitectura impresionante optimizada para la GPU A10 de NVIDIA, que no solo aumenta el rendimiento, sino que también rivaliza en precisión con SantaCoder.

La arquitectura de DeciCoder es un testimonio de innovación. La incorporación de Atención de Consulta Agrupada con ocho cabezas de clave-valor optimiza la computación y el uso de memoria, logrando la armonía entre precisión y eficiencia. En una comparación directa con SantaCoder, DeciCoder tiene atributos distintivos: menos capas (20 vs. 24), más cabezas (32 vs. 16) y un tamaño de incrustación paralelo. Estas características, derivadas del intrincado baile de AutoNAC, sustentan la destreza de DeciCoder.

• Cómo interpretar los coeficientes de regresión logística
• Organizando la IA generativa 5 lecciones aprendidas de los equipos de ciencia de datos
• Apoyando la sostenibilidad, la salud digital y el futuro del trabajo

El viaje de DeciCoder está marcado por la innovación y un enfoque implacable en la eficiencia. Las implicaciones de este desarrollo son profundas. Al utilizar DeciCoder junto con Infery LLM, un motor de inferencia dedicado, los usuarios desbloquean la capacidad de obtener un rendimiento significativamente mayor, hasta 3,5 veces más que SantaCoder. La narrativa de esta innovación no se limita a los beneficios de eficiencia; también se trata de sostenibilidad. El énfasis de Deci en la ecología se refleja en la reducción de las emisiones de carbono en 324 kg CO2 por instancia de modelo en una GPU A10G. Esto representa un paso prometedor hacia una IA consciente del medio ambiente.

DeciCoder no es un esfuerzo aislado; es parte del enfoque integral de Deci en la eficiencia de IA. A medida que la empresa inaugura una nueva era de LLMs de base de alta eficiencia y modelos de texto a imagen, los desarrolladores pueden anticipar un próximo SDK de IA generativa que redefine el panorama de ajuste fino, optimización e implementación. Esta suite integral extiende los beneficios de eficiencia tanto a las grandes empresas como a los actores más pequeños, democratizando el potencial de la IA.

La historia de DeciCoder no se limita a su arquitectura y puntos de referencia; se trata de empoderamiento. Empodera tanto a los desarrolladores como a las empresas a través de licencias permisivas, lo que permite la integración de DeciCoder en proyectos con restricciones mínimas. La flexibilidad para implementar DeciCoder en aplicaciones comerciales se alinea con la misión de Deci de catalizar la innovación y el crecimiento en diversas industrias. Es una historia que no solo se trata de IA, sino de impulsar una transformación positiva en la tecnología y su impacto.

En general, DeciCoder es más que un simple modelo; es una realización del potencial de eficiencia de la IA. A través de la sinergia de AutoNAC, Atención de Consulta Agrupada y motores de inferencia dedicados, trae consigo un modelo de alto rendimiento y respetuoso con el medio ambiente. El viaje de Deci, delineado por la introducción de DeciCoder, es un faro para la comunidad de IA, un llamado a revolucionar la tecnología respetando los recursos de nuestro planeta. No es solo código; es un código para un futuro de IA más sostenible y eficiente.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!