Dask

Dask es una biblioteca de computación paralela flexible para computación analítica escrita en Python.
Se compone de dos partes:

• Programación dinámica de tareas optimizada para computación. Esto es similar a Airflow, Luigi, Celery o Make , pero optimizado para cargas de trabajo computacionales interactivas.
• Colecciones de "Big Data" como matrices paralelas, marcos de datos y listas que extienden interfaces comunes como iteradores NumPy, Pandas o Python a entornos más grandes que la memoria o distribuidos. Estas colecciones paralelas se ejecutan sobre planificadores de tareas dinámicos.