Parte 1 Crear paso a paso un entorno virtual para ejecutar tus tuberías de datos en sistemas basados en Windows

Crear un entorno virtual para ejecutar tuberías de datos en Windows

Mi motivación para escribir un artículo sobre esto es simplemente no olvidar y también, la mejor manera de mantener tus notas es compartiéndolas con otros. Además, estas publicaciones no desaparecen fácilmente. También puedes beneficiarte de ello al recibir comentarios, lo cual encuentro realmente útil para mejorar. Tus opiniones y comentarios son muy apreciados.

Beneficios de utilizar Máquinas Virtuales para ejecutar pipelines de datos

Crear entornos virtuales utilizando sistemas como Ubuntu para ejecutar pipelines de datos ofrece numerosos beneficios para científicos de datos y desarrolladores. En primer lugar, proporciona un entorno aislado y sandbox, asegurando que las dependencias y paquetes no entren en conflicto, lo que conduce a resultados estables y reproducibles. En segundo lugar, los entornos virtuales permiten realizar pruebas y depuración fácilmente sin afectar las funcionalidades principales del sistema. En tercer lugar, mejoran la escalabilidad, permitiendo implementar pipelines en diferentes máquinas y plataformas en la nube. Por último, los entornos virtuales simplifican la colaboración, permitiendo a los equipos compartir entornos de desarrollo consistentes y garantizando una integración fluida del flujo de trabajo. En general, aprovechar los entornos virtuales permite a los profesionales de datos optimizar el desarrollo de sus pipelines, aumentar la productividad y acelerar los insights basados en datos.

Configuración de la máquina virtual Ubuntu en tu equipo local

  1. Busca Windows Powershell en tu máquina local

2. Escribe el comando ‘ssh’ para verificar si está instalado. SSH significa Secure Shell y es un protocolo de red criptográfico utilizado para el acceso y la comunicación remota segura en redes no seguras. Proporciona un canal seguro entre dos dispositivos, generalmente un cliente y un servidor, que les permite intercambiar datos y ejecutar comandos de forma segura.

3. Usando el comando ‘dir’ obtendrás el directorio de archivos y ‘mkdir’ se utiliza para crear una carpeta en el sistema. Estos son los comandos más comúnmente utilizados en sistemas basados en Linux.

4. Escribe ‘wsl’ para verificar si está configurado. Es necesario para la instalación. WSL significa Windows Subsystem for Linux. Es una capa de compatibilidad en Windows que permite a los usuarios ejecutar una distribución de Linux directamente en una máquina con Windows. Con WSL, puedes acceder y utilizar una terminal de Linux y ejecutar utilidades de línea de comandos de Linux junto con tus aplicaciones de Windows.

5. ‘wsl — list — online’ mostrará una lista de distribuciones válidas instaladas en tu sistema

6. Para instalar la distribución deseada, utiliza ‘wsl — install -d Ubuntu-22.04’ (la versión que deseas instalar)

7. Después de la instalación, es posible que se te pida reiniciar el portátil para completar la instalación. Pero antes de eso, si es la primera vez, es posible que también se te pida configurar un nombre de usuario y una contraseña de Unix. Luego, el proceso debería estar completo.

8. Para asegurarte de la instalación, escribe ‘uname -a’ para confirmar los detalles de la instalación.

9. En tu powershell cli, escribe ‘wsl -l -v’ para ver cuáles están en ejecución o detenidos. Para volver a iniciar la máquina virtual, escribe ‘wsl -d Ubuntu-22.04’ (la máquina que deseas iniciar)

Trabajando con Docker

  1. Busca el escritorio de Docker y sigue las instrucciones de instalación. Son bastante sencillas.

Validar Docker en Windows utilizando la línea de comandos en PowerShell

  1. Utiliza el comando ‘docker run hello-world’ para comprobar si la instalación se ha completado correctamente
  2. El comando ‘docker images’ te mostrará las imágenes en tu contenedor
  3. El comando ‘docker ps -a’ es para ver la información de ejecución del contenedor
  4. El comando ‘docker rm container_id’ detendrá la imagen en ejecución

Combinando todo

  1. Ejecutando el comando ‘docker run -i -t — rm ubuntu bash‘, se configurarán los recursos como un contenedor de Docker basado en Ubuntu y gracias a ‘–rm’, una vez que lo cierres, el contenedor se eliminará automáticamente.
Contenedor basado en Ubuntu en ejecución en Docker Desktop

2. Cuando estés en la imagen del contenedor, si ejecutas ‘free -h’, obtendrás información sobre la memoria y otra información útil cuando trabajes localmente en tu máquina.

Instalación de Python y distills en Windows utilizando WSL Ubuntu

  1. Para fines de desarrollo, se utilizará Python 3.9, y la versión que buscamos aquí es la Python 3.9 para Ubuntu.
  2. Cuando esté en el entorno de Ubuntu en su terminal, copie y pegue los siguientes comandos uno por uno:
1. Actualice la lista de paquetes e instale los prerequisitos:sudo apt updatesudo apt install software-properties-common 2. Agregue el PPA de deadsnakes a la lista de fuentes de su sistema:sudo add-apt-repository ppa:deadsnakes/ppa 3. Actualice la lista de paquetes nuevamente:sudo apt update 4. Instale Python 3.9:sudo apt install python3.9 5. Verifique que la instalación haya sido exitosa escribiendo:python3.9 --version 

Para poder crear un entorno virtual para esta versión de Python, verifique si puede hacerlo usando ‘python3.9 -m venv <nombre_del_entorno>’, si no es así, ejecute el siguiente comando para asegurarse de tener la configuración necesaria para el entorno virtual: ‘sudo apt install python3-distutils -y’. Luego vuelva a ejecutar el comando anterior para verificar los resultados.

Nota rápida: Si eres como yo y obtienes este error:

Error: El comando '['/home/home_folder/p39-venv/bin/python3.9', '-Im', 'ensurepip', '--upgrade', '--default-pip']' devolvió un estado de salida distinto de cero.

Utilice el siguiente comando para instalar las carpetas restantes para la creación del entorno virtual de Python:

sudo apt-get install python3.9-dev python3.9-venv

A continuación, proceda con la creación del entorno virtual:

python3.9 -m venv p39-venv

Luego, la activación:

source p39-venv/bin/activate

Asegúrese de tener la versión correcta de Python en el entorno virtual ejecutando ‘python –version’.

Utilice los siguientes comandos para desactivar y eliminar el entorno virtual que creó.

deactivaterm -rf <nombre_del_entorno>

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Persistent Systems moldea el futuro de la ingeniería de software con Amazon CodeWhisperer

Persistent Systems, un proveedor global de ingeniería digital, ha realizado varios pilotos y estudios formales con Am...

Inteligencia Artificial

Esta investigación de IA revoluciona el diseño del modulador Mach-Zehnder de silicio a través del aprendizaje profundo y algoritmos evolutivos

Los requisitos de capacidad de transmisión de red han aumentado debido a la popularidad de Netflix y el IoT y la tran...

Inteligencia Artificial

La Era de Gen AI Un Nuevo Comienzo

Introducción En el mundo de la tecnología en constante evolución, nos encontramos en el umbral de una nueva era, una ...

Inteligencia Artificial

Investigadores exploran las mejores prácticas para hablar con los niños sobre la privacidad en línea

Investigadores del NIST sugieren buenas estrategias para hablar con los niños sobre la privacidad y seguridad en líne...

Inteligencia Artificial

Empresa derivada de la Universidad de Glasgow recauda $43 millones para 'Digitalizar la Química

Chemify, que se separó de la Universidad de Glasgow del Reino Unido en 2022, ha recibido $43 millones de financiamien...

Ciencia de Datos

El Desafío de Ver la Imagen Completa de la Inteligencia Artificial

Cada vez es más difícil tener conversaciones reflexivas sobre el cambiante (y rápidamente creciente) impacto de la IA...