Investigadores de Microsoft y la Universidad Bautista de Hong Kong presentan WizardCoder Un Code Evol-Instruct Fine-Tuned Code LLM.

Microsoft and the Baptist University of Hong Kong researchers present WizardCoder, an evolved and fine-tuned code LLM.

Los Modelos de Lenguaje Grandes (LLM, por sus siglas en inglés) han atraído recientemente mucho interés y han logrado un éxito notable. En particular, ChatGPT de OpenAI se destaca como un ejemplo notable. Estos modelos han logrado un rendimiento excepcional en cero-shot (sin entrenamiento específico) en diversas tareas utilizando un pre-entrenamiento significativo en grandes cantidades de datos de internet y un posterior ajuste fino con datos de instrucciones precisas. Este patrón también se ve en la comprensión y creación de código. Se han propuesto muchos LLM de Código para abordar las dificultades inherentes a las actividades que utilizan código. Estos LLM de Código pasan por un pre-entrenamiento utilizando una gran cantidad de datos de código, lo que les permite desempeñarse admirablemente en diversas actividades relacionadas con el código.

Es necesario investigar más a fondo la adaptación detallada de instrucciones en el dominio del Código, en contraste con la mayoría de los LLM de Código anteriores que se enfocan principalmente en la fase de pre-entrenamiento. Para mejorar las habilidades de generalización de los LMs en diversas actividades, se utilizó por primera vez la modificación de instrucciones. Por ejemplo, InstructGPT de OpenAI solicitó a los anotadores humanos que ofrecieran instrucciones específicas para verificar la conformidad con los objetivos de los usuarios. Al igual que Alpaca, un esfuerzo reciente utilizó ChatGPT para producir los datos de instrucción utilizando el enfoque de autoinstrucción. Vicuna aprovechó los chats que los usuarios habían publicado en ShareGPT.com. El enfoque de Evol-Instruct fue establecido por WizardLM y consistió en modificar los datos de instrucción actuales para producir conjuntos de datos más complejos y variados.

Sin embargo, es importante tener en cuenta que estas técnicas deberían haber tenido en cuenta específicamente el dominio del código al diseñar en lugar de centrarse principalmente en el dominio general. Inspirados por el enfoque de Evol-Instruct, los investigadores de Microsoft y la Universidad Bautista de Hong Kong en este proyecto tienen la intención de mejorar las capacidades del LLM de Código de código abierto StarCoder mediante la producción de datos de instrucción de código detallados utilizando el enfoque de Evol-Instruct específico para código. Han modificado el proceso de instrucción evolutiva de varias maneras diseñadas especialmente para actividades que involucran programación para lograr esto. Se han simplificado las instrucciones evolutivas, se han mejorado las instrucciones evolutivas y se han incluido la depuración de código y las limitaciones de complejidad de tiempo-espacio. Su enfoque se utiliza inicialmente para desarrollar los datos de instrucción fundamentales de Code Alpaca.

A continuación, utilizan su conjunto de entrenamiento de seguimiento de instrucciones de código recién desarrollado para ajustar finamente StarCoder y obtener su WizardCoder. Su WizardCoder supera a todos los demás LLM de Código de código abierto, logrando un rendimiento de vanguardia (SOTA, por sus siglas en inglés), según los resultados experimentales de cuatro referencias generadoras de código, incluyendo HumanEval, HumanEval+, MBPP y DS-100. Observan un aumento significativo en las puntuaciones de aprobación@1, en concreto un aumento de +22,3 (57,3 frente a 35,0) en HumanEval y un aumento de +8,2 (51,8 frente a 43,6) en MBPP. Sorprendentemente, su WizardCoder incluso supera a Claude de Anthropic y Bard de Google en términos de tasas de aprobación en HumanEval y HumanEval+, a pesar de ser considerablemente más pequeño.

A continuación se muestra un resumen de las contribuciones realizadas por este trabajo:

• Proporcionamos WizardCoder, que utiliza Code Evol-Instruct para mejorar la funcionalidad del LLM de Código de código abierto, StarCoder.

• WizardCoder supera significativamente a todos los demás LLM de Código de código abierto, incluyendo StarCoder, CodeGen, CodeGee, CodeT5+, InstructCodeT5+, StarCoder-GPTeacher, e Instruct-Codegen-16B, en términos de creación de código.

• A pesar de ser significativamente más pequeño en tamaño, WizardCoder supera a los principales LLM cerrados, incluyendo Claude, Bard, PaLM, PaLM-2 y LaMDA, en términos de creación de código.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Noticias de Inteligencia Artificial

Escanee y compruebe estos geniales códigos QR generados por IA.

En el ámbito del arte de inteligencia artificial (IA), hemos sido testigos de avances impresionantes, desde videos de...

Inteligencia Artificial

Creando empatía artificial

Los científicos se esfuerzan por añadir la habilidad de entender lo que los demás sienten a la inteligencia artificial.

Inteligencia Artificial

Este artículo sobre IA revela Cómo los modelos de lenguaje grandes se comparan con los motores de búsqueda en eficiencia de verificación de hechos

Investigadores de diferentes universidades comparan la eficacia de los modelos de lenguaje (LLMs) y los motores de bú...

Inteligencia Artificial

Microsoft presenta Azure Custom Chips Revolucionando la computación en la nube y las capacidades de IA

En medio de persistentes rumores de la industria, la tan esperada revelación de Microsoft salió a la luz durante la c...

Inteligencia Artificial

Esta investigación de IA presenta métodos innovadores para adaptar modelos de lenguaje a la diseño de chips

ChipNeMo explora la utilización de LLMs para el diseño de chips industriales, empleando técnicas de adaptación de dom...

Inteligencia Artificial

Mejora Amazon Lex con características de preguntas frecuentes conversacionales utilizando LLMs

Amazon Lex es un servicio que te permite construir de manera rápida y sencilla bots conversacionales (chatbots), agen...