Optimiza eficazmente tu modelo de regresión con ajuste de hiperparámetros bayesianos

Optimiza tu modelo de regresión con ajuste bayesiano de hiperparámetros

Aprende a optimizar eficazmente los hiperparámetros y evitar crear modelos sobreajustados para XGBoost, CatBoost y LightBoost

Foto de Alexey Ruban en Unsplash

Las técnicas de aumento de gradiente como XGBoost, CatBoost y LightBoost han ganado mucha popularidad en los últimos años tanto para tareas de clasificación como de regresión. Una parte importante del proceso es ajustar los hiperparámetros para obtener el mejor rendimiento del modelo. La clave está en optimizar el espacio de búsqueda de hiperparámetros junto con encontrar un modelo que pueda generalizar en nuevos datos no vistos. En este blog, demostraré 1. cómo aprender un modelo de árbol de decisión aumentado de regresión con hiperparámetros optimizados mediante la optimización bayesiana, 2. cómo seleccionar un modelo que pueda generalizar (y no esté sobreajustado), 3. cómo interpretar y explicar visualmente el espacio de hiperparámetros optimizados junto con la precisión del rendimiento del modelo. La biblioteca HGBoost es ideal para esta tarea, ya que realiza, entre otras cosas, una validación cruzada de doble bucle para protegerse contra el sobreajuste.

Una breve introducción.

Los algoritmos de aumento degradado como Extreme Gradient Boosting (XGBoost), Light Gradient Boosting (Lightboost) y CatBoost son algoritmos poderosos de aprendizaje automático de conjuntos para modelado predictivo (tareas de clasificación y regresión) que se pueden aplicar a conjuntos de datos en forma de tablas, continuos y formas mixtas [1,2,3 ]. Aquí me centraré en la tarea de regresión. En las siguientes secciones, entrenaremos un modelo de árbol de decisión aumentado utilizando un bucle de validación cruzada de doble bucle. Dividiremos cuidadosamente el conjunto de datos, configuraremos el espacio de búsqueda y realizaremos la optimización bayesiana utilizando la biblioteca Hyperopt. Después de entrenar el modelo, podemos interpretar los resultados de manera más profunda creando gráficos informativos.

Si necesitas más información de fondo o no estás completamente familiarizado con estos conceptos, recomiendo leer este blog:

Una guía para encontrar el mejor modelo de aumento utilizando la optimización bayesiana de hiperparámetros pero sin…

Los algoritmos de árbol de decisión aumentado pueden superar a otros modelos, pero el sobreajuste es un peligro real. Ajusta tu modelo usando…

towardsdatascience.com

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Investigadores de UCSD y Microsoft presentan ColDeco una herramienta de inspección sin código para columnas calculadas.

En el artículo “COLDECO: una herramienta de inspección de hojas de cálculo para código generado por IA” u...

Inteligencia Artificial

Meta AI presenta AnyMAL el futuro de los modelos de lenguaje multimodal que conecta texto, imágenes, videos, audio y datos de sensores de movimiento.

En inteligencia artificial, uno de los desafíos fundamentales ha sido permitir que las máquinas comprendan y generen ...

Aprendizaje Automático

Eliminación y destilación arquitectural Un camino hacia la compresión eficiente en modelos de difusión texto-imagen en IA.

Los modelos de difusión de texto a imagen representan un enfoque innovador para generar imágenes a partir de indicaci...

Inteligencia Artificial

Investigadores de Alibaba presentan la serie Qwen-Audio Un conjunto de modelos de audio-idioma a gran escala con habilidades universales de comprensión de audio.

Investigadores de Alibaba Group presentaron Qwen-Audio, que aborda el desafío de los modelos de audio pre-entrenados ...

Inteligencia Artificial

Este artículo de IA propone un método novedoso basado en gradientes llamado Cones para analizar e identificar las neuronas conceptuales en modelos de difusión

La compleja estructura del cerebro le permite realizar tareas cognitivas y creativas asombrosas. Según la investigaci...