Curso gratuito de MIT TinyML y cómputo eficiente de aprendizaje profundo

Curso Gratuito de MIT TinyML y Eficiencia en el Cómputo de Aprendizaje Profundo

 

Introducción

 

En el mundo tecnológico de hoy en día, estamos rodeados de maravillas impresionantes impulsadas por IA: asistentes de voz que responden nuestras preguntas, cámaras inteligentes que identifican rostros y autos autónomos que navegan por las carreteras. ¡Son como los superhéroes de nuestra era digital! Sin embargo, hacer que estas maravillas tecnológicas funcionen sin problemas en nuestros dispositivos cotidianos es más difícil de lo que parece. Estos superhéroes de la IA tienen una necesidad especial: una gran potencia informática y recursos de memoria. Es como tratar de meter una biblioteca entera en una mochila pequeña. ¿Y sabes qué? La mayoría de nuestros dispositivos regulares como teléfonos, smartwatches, etc. no tienen suficiente “poder cerebral” para manejar a estos superhéroes de la IA. Esto plantea un problema importante en la implementación generalizada de la tecnología de IA.

Por lo tanto, es crucial mejorar la eficiencia de estos modelos de IA grandes para que sean accesibles. Este curso: TinyML y Cómputo Eficiente de Deep Learning del laboratorio MIT HAN aborda este obstáculo central. Presenta métodos para optimizar modelos de IA, asegurando su viabilidad en escenarios del mundo real. Veamos detenidamente lo que ofrece:

 

Resumen del curso

 

Estructura del curso:

 

Duración: Otoño 2023

Horario: Martes/Jueves 3:35-5:00 pm Hora del Este

Instructor: Profesor Song Han

Asistentes de enseñanza: Han Cai y Ji Lin

Dado que este es un curso en curso, puedes ver la transmisión en vivo en este enlace.

 

Enfoque del curso:

 

Fundamentos teóricos: Comienza con conceptos fundamentales del Deep Learning, luego avanza hacia métodos sofisticados para un cómputo de IA eficiente.

Experiencia práctica: Proporciona experiencia práctica al permitir a los estudiantes implementar y trabajar con modelos de lenguaje grandes como LLaMA 2 en sus laptops.

 

Módulos del curso

 

1. Inferencia eficiente

 

Este módulo se enfoca principalmente en mejorar la eficiencia de los procesos de inferencia de IA. Explora técnicas como la poda, la dispersión y la cuantización con el objetivo de hacer que las operaciones de inferencia sean más rápidas y eficientes en recursos. Los temas principales tratados incluyen:

  • Poda y dispersión (Parte I y II): Exploración de métodos para reducir el tamaño de los modelos eliminando partes innecesarias sin comprometer el rendimiento.
  • Cuantización (Parte I y II): Técnicas para representar datos y modelos utilizando menos bits, ahorrando memoria y recursos computacionales.
  • Búsqueda de arquitectura neuronal (Parte I y II): Estas conferencias exploran técnicas automatizadas para descubrir las mejores arquitecturas de redes neuronales para tareas específicas. Demuestran usos prácticos en diversas áreas como NLP, GAN, análisis de nubes de puntos y estimación de postura.
  • Destilación de conocimiento: Esta sesión se centra en la destilación de conocimiento, un proceso en el que se entrena a un modelo compacto para imitar el comportamiento de un modelo más grande y complejo. Su objetivo es transferir conocimiento de un modelo a otro.
  • MCUNet: TinyML en microcontroladores: Esta conferencia presenta MCUNet, que se centra en implementar modelos de TinyML en microcontroladores, permitiendo que la IA se ejecute de manera eficiente en dispositivos de baja potencia. Cubre la esencia de TinyML, sus desafíos, la creación de redes neuronales compactas y sus diversas aplicaciones.
  • TinyEngine y Procesamiento Paralelo: Esta parte discute TinyEngine, explorando métodos para implementación eficiente y estrategias de procesamiento paralelo como la optimización de bucles, multihilo y disposición de memoria para modelos de IA en dispositivos limitados.

 

2. Optimización Específica del Dominio

 

En el segmento de Optimización Específica del Dominio, el curso cubre varios temas avanzados enfocados en optimizar modelos de IA para dominios específicos:

  • Transformer y LLM (Parte I y II): Se adentra en los conceptos básicos de Transformer, sus variantes de diseño y aborda temas avanzados relacionados con algoritmos de inferencia eficientes para LLMs. También explora sistemas de inferencia eficientes y métodos de ajuste fino para LLMs.
  • Vision Transformer: Esta sección introduce los conceptos básicos de Vision Transformer, estrategias eficientes de ViT y diversas técnicas de aceleración. También explora métodos de aprendizaje auto-supervisado y Modelos de Lenguaje de Gran Tamaño (LLMs) multimodales para mejorar las capacidades de IA en tareas relacionadas con la visión.
  • GAN, Video y Nube de Puntos: Esta clase se enfoca en mejorar las Redes Generativas Antagónicas (GANs) explorando técnicas eficientes de compresión de GANs (usando NAS+destilación), GAN AnyCost para costos dinámicos y Augmentación Diferenciable para un entrenamiento de GAN eficiente en el uso de datos. Estos enfoques tienen como objetivo optimizar modelos para GANs, reconocimiento de video y análisis de nube de puntos.
  • Modelo de Difusión: Esta clase ofrece información sobre la estructura, entrenamiento, optimización específica del dominio y estrategias de muestreo rápido de Modelos de Difusión.

 

3. Entrenamiento Eficiente

 

El entrenamiento eficiente se refiere a la aplicación de metodologías para optimizar el proceso de entrenamiento de modelos de aprendizaje automático. Este capítulo cubre las siguientes áreas clave:

  • Entrenamiento Distribuido (Parte I y II): Explora estrategias para distribuir el entrenamiento en múltiples dispositivos o sistemas. Proporciona estrategias para superar los cuellos de botella de ancho de banda y latencia, optimizar el consumo de memoria e implementar métodos de paralelización eficientes para mejorar la eficiencia de entrenamiento de modelos de aprendizaje automático a gran escala en entornos informáticos distribuidos.
  • Entrenamiento en Dispositivo y Aprendizaje por Transferencia: Esta sesión se enfoca principalmente en entrenar modelos directamente en dispositivos periféricos, manejar limitaciones de memoria y emplear métodos de aprendizaje por transferencia para adaptarse de manera eficiente a nuevos dominios.
  • Ajuste Fino Eficiente e Ingeniería de Instrucciones: Esta sección se enfoca en refinar Modelos de Lenguaje de Gran Tamaño (LLMs) mediante técnicas eficientes de ajuste fino como BitFit, Adapter y Prompt-Tuning. Además, destaca el concepto de Ingeniería de Instrucciones e ilustra cómo puede mejorar el rendimiento y la adaptabilidad del modelo.

 

4. Temas Avanzados

 

Este módulo cubre temas sobre un campo emergente de Aprendizaje Automático Cuántico. Si bien las conferencias detalladas para este segmento aún no están disponibles, los temas planificados para su cobertura incluyen:

  • Conceptos básicos de la Computación Cuántica
  • Aprendizaje Automático Cuántico
  • Aprendizaje Automático Cuántico Robusto al Ruido

Estos temas proporcionarán una comprensión fundamental de los principios cuánticos en la computación y explorarán cómo se aplican estos principios para mejorar los métodos de aprendizaje automático al tiempo que se abordan los desafíos planteados por el ruido en los sistemas cuánticos.

Si estás interesado/a en profundizar en este curso, consulta la lista de reproducción a continuación:

 

Conclusiones

 

Este curso ha recibido comentarios fantásticos, especialmente de entusiastas y profesionales de IA. Aunque el curso está en curso y tiene previsto concluir en diciembre de 2023, ¡recomiendo encarecidamente unirse! Si estás tomando este curso o tienes la intención de hacerlo, comparte tus experiencias. ¡Hablemos y aprendamos juntos sobre TinyML y cómo hacer que la IA sea más inteligente en dispositivos pequeños. Tu aporte e ideas serían valiosos!

[Kanwal Mehreen](https://www.linkedin.com/in/kanwal-mehreen1/) es una desarrolladora de software aspirante con un gran interés en la ciencia de datos y las aplicaciones de IA en medicina. Kanwal fue seleccionada como Google Generation Scholar 2022 para la región de APAC. A Kanwal le encanta compartir conocimientos técnicos escribiendo artículos sobre temas de tendencia y está apasionada por mejorar la representación de las mujeres en la industria tecnológica.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

La función de detección de suplantación de identidad protege a las marcas y personalidades de las cuentas falsas en las redes sociales

Una empresa canadiense ha incorporado una función de protección contra la suplantación de identidad en su plataforma ...

Inteligencia Artificial

Robot aprende a limpiar el espacio tal como te gusta

Los roboticistas desarrollaron un robot que puede limpiar espacios basándose en las preferencias personales de los us...

Inteligencia Artificial

¿Qué puedes hacer cuando la inteligencia artificial miente sobre ti?

Las personas tienen poca protección o recurso cuando la tecnología crea y difunde falsedades sobre ellas.

Inteligencia Artificial

OpenAI presenta 6 emocionantes características de ChatGPT para revolucionar la experiencia del usuario

OpenAI, la empresa pionera detrás de ChatGPT, continúa innovando y mejorando la experiencia del usuario con seis emoc...

Inteligencia Artificial

Científicos recrean canción de Pink Floyd leyendo las señales cerebrales de los oyentes

El audio suena como si se estuviera reproduciendo bajo el agua. Aún así, es un primer paso hacia la creación de dispo...