Software
Hemos compilado una lista de 5 alternativas gratuitas y de pago para Luigi. Los principales competidores incluyen Apache Oozie, Azkaban. Además de estos, los usuarios también realizan comparaciones entre Luigi y StackStorm, Apache Airflow, Zenaton. También puedes echar un vistazo a otras opciones similares aquí: About.
Hemos compilado una lista de 5 alternativas gratuitas y de pago para Luigi. Los principales competidores incluyen Apache Oozie, Azkaban. Además de estos, los usuarios también realizan comparaciones entre Luigi y StackStorm, Apache Airflow, Zenaton. También puedes echar un vistazo a otras opciones similares aquí: About.
9
7
Azkaban es un programador de trabajos de flujo de trabajo por lotes creado en LinkedIn para ejecutar trabajos de Hadoop.
6
StackStorm es una potente plataforma de automatización de código abierto que conecta todas sus aplicaciones ...
4
Airflow es una plataforma para programar, programar y monitorear flujos de trabajo mediante programación
0
Conjunto de herramientas para desarrolladores para integrar servicios de terceros en sus aplicaciones con monitoreo y ...
19
Luigi es un módulo de Python que lo ayuda a construir tuberías complejas de trabajos por lotes.
Luigi es un módulo de Python que lo ayuda a construir tuberías complejas de trabajos por lotes.
Linux
El propósito de Luigi es abordar todas las tuberías típicamente asociadas con procesos por lotes de larga ejecución. Desea encadenar muchas tareas, automatizarlas y ocurrirán fallas. Estas tareas pueden ser cualquier cosa, pero generalmente son tareas de larga duración, como trabajos de Hadoop, volcado de datos a / desde bases de datos, ejecución de algoritmos de aprendizaje automático o cualquier otra cosa.
Hay otros paquetes de software que se centran en aspectos de nivel inferior del procesamiento de datos, como Hive, Pig o Cascading. Luigi no es un marco para reemplazar estos. En cambio, le ayuda a unir muchas tareas, donde cada tarea puede ser una consulta de Hive, un trabajo de Hadoop en Java, un trabajo de Spark en Scala o Python, un fragmento de Python, volcar una tabla de una base de datos o cualquier otra cosa. Es fácil construir tuberías de larga duración que comprenden miles de tareas y demoran días o semanas en completarse. Luigi se encarga de gran parte de la gestión del flujo de trabajo para que pueda centrarse en las tareas mismas y sus dependencias.
Puede crear prácticamente cualquier tarea que desee, pero Luigi también viene con una caja de herramientas con varias plantillas de tareas comunes que utiliza. Incluye soporte para ejecutar trabajos de reducción de mapas de Python en Hadoop, así como trabajos de Hive y Pig. También viene con abstracciones del sistema de archivos para HDFS y archivos locales que aseguran que todas las operaciones del sistema de archivos sean atómicas. Esto es importante porque significa que su canalización de datos no se bloqueará en un estado que contenga datos parciales.
¡Comparte tu opinión sobre el software, deja una reseña y ayuda a mejorarlo aún más!
Sugerir cambios
Tus comentarios
Your vote has been counted.
Do you have experience using this software?
