Este artículo de IA explica cómo los lenguajes de programación pueden potenciarse entre sí a través de la sintonización de instrucciones.

Este artículo de IA explica cómo los lenguajes de programación pueden potenciarse mediante la sintonización de instrucciones.

La introducción de los Modelos de Lenguaje Grande (LLMs) ha causado sensación en el mundo. Estos modelos son famosos por imitar a los seres humanos al generar contenido único y creativo y responder preguntas como lo haría un humano. Estos modelos también son capaces de resumir párrafos largos de texto, traducir idiomas y completar códigos. El desarrollo de LLMs diseñados específicamente para producir código ha experimentado un incremento significativo recientemente. Las sorprendentes habilidades de producción de código de estos modelos, también conocidos como LLMs de código, han atraído mucha atención en ámbitos académicos e industriales. CodeGeeX, StarCoder, CodeLlama y Codex son algunos de los destacados LLMs de código que se han introducido últimamente.

La aplicación de algoritmos de ajuste de instrucciones es un avance fascinante en el área de los LLMs de código. Investigaciones recientes han examinado la idea de enseñar a los LLMs cómo seguir instrucciones específicas para mejorar su capacidad de producción de código. Un estudio reciente explora la interesante idea de que una vez que los programadores humanos han dominado un lenguaje de programación, podría ser más sencillo para ellos aprender un segundo lenguaje. El objetivo principal de este estudio es determinar si varios lenguajes de programación pueden complementarse entre sí mientras los grandes modelos de lenguaje ajustan sus instrucciones.

Para explorar e investigar esta teoría, un grupo de investigadores ha llevado a cabo una serie de experimentos exhaustivos que involucran ocho lenguajes de programación populares: Python, JavaScript, TypeScript, C, C++, Java, Go y HTML. Estos lenguajes incluyen una amplia gama de paradigmas y casos de uso de programación, desde lenguajes de marcado como HTML hasta lenguajes de nivel de sistema como C y C++, así como lenguajes de script como Python y JavaScript. El objetivo principal de estas pruebas era verificar si el ajuste fino de instrucciones en un lenguaje de programación podía mejorar el rendimiento de un LLM de código cuando se utiliza con otro. Para estas pruebas, se utilizó el LLM de código StarCoder.

Para asegurar que las instrucciones estén en línea con la sintaxis y los requisitos de cada lenguaje, la metodología para crear estas instrucciones específicas de cada lenguaje implica modificar la instrucción inicial basada en Python a través de una evolución en profundidad o, en el caso de HTML, una evolución en amplitud. La evolución en profundidad es un método para generar instrucciones específicas de cada lenguaje a partir de una instrucción inicial basada en Python y hacerla más compleja y adaptada al lenguaje objetivo, capturando matices específicos del lenguaje. Por otro lado, la evolución en amplitud implica crear instrucciones completamente nuevas específicas de HTML en lugar de partir de instrucciones basadas en Python, reconociendo la naturaleza distinta de HTML en el desarrollo web.

Los resultados de los experimentos arrojaron conclusiones contundentes. Se demostró que, cuando se trata de trabajos de creación de código, los lenguajes de programación definitivamente tienen la capacidad de rendir notablemente mejor que otros. Por ejemplo, al ser probado en código Java utilizando el benchmark HumanEval-X, un modelo de código conocido como CODEM-Python 15B entrenado con datos de Python demostró una mejora absoluta notable del 17.95% en la precisión de pasar en el primer intento. Este hallazgo sugiere que el conocimiento de un lenguaje, como Python, puede mejorar significativamente la producción de código en otro lenguaje, como Java.

Aún más sorprendente, al ser utilizado en un corpus de HTML (un lenguaje de marcado), CODEM-HTML 7B mostró una mejora absoluta significativa del 15.24% en pasar en el primer intento. Esto implica que incluso lenguajes fundamentalmente diferentes, como los lenguajes de marcado como HTML y los lenguajes de programación convencionales como Java, pueden mejorar mutuamente las habilidades de producción de código.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Principales herramientas para simplificar y estandarizar el aprendizaje automático

La inteligencia artificial y el aprendizaje automático son dos líderes innovadores a medida que el mundo se beneficia...

Inteligencia Artificial

Investigadores de UCLA y CMU presentan Stormer Una red neuronal Transformadora escalable para una pronóstico meteorológico de mediano alcance hábil y confiable.

Uno de los principales problemas que enfrenta la ciencia y la sociedad hoy en día es la predicción del tiempo. La pre...

Inteligencia Artificial

LightOn AI lanza Alfred-40B-0723 un nuevo modelo de lenguaje de código abierto (LLM) basado en Falcon-40B.

En un movimiento innovador, LightOn anunció con orgullo el lanzamiento de Alfred-40B-0723, un innovador Modelo de Len...