Logiciel
Nous avons compilé une liste de 5 alternatives gratuites et payantes à Luigi. Les principaux concurrents incluent Apache Oozie, StackStorm. En plus de cela, les utilisateurs établissent également des comparaisons entre Luigi et Azkaban, Apache Airflow, Zenaton. Vous pouvez également consulter d'autres choix similaires ici : About.
Nous avons compilé une liste de 5 alternatives gratuites et payantes à Luigi. Les principaux concurrents incluent Apache Oozie, StackStorm. En plus de cela, les utilisateurs établissent également des comparaisons entre Luigi et Azkaban, Apache Airflow, Zenaton. Vous pouvez également consulter d'autres choix similaires ici : About.
7
6
StackStorm est une puissante plate-forme d'automatisation open source qui relie toutes vos applications ...
5
Azkaban est un planificateur de travaux par lots créé par LinkedIn pour exécuter des travaux Hadoop.
3
Airflow est une plate-forme permettant de créer, planifier et surveiller par programme des flux de travail.
-3
Ensemble d'outils de développement pour l'intégration de services tiers dans leur application avec ...
12
Luigi est un module Python qui vous aide à créer des pipelines complexes de travaux par lots.
Luigi est un module Python qui vous aide à créer des pipelines complexes de travaux par lots.
Linux
Luigi a pour objectif de traiter toute la plomberie généralement associée à des processus de traitement par lots de longue durée. Vous souhaitez enchaîner de nombreuses tâches, les automatiser et des échecs se produiront. Ces tâches peuvent être diverses, mais il s’agit généralement de tâches longues telles que les tâches Hadoop, le transfert de données vers / depuis des bases de données, l’exécution d’algorithmes d’apprentissage automatique ou autre.
Il existe d'autres progiciels qui se concentrent sur les aspects de traitement de données de niveau inférieur, tels que Hive, Pig ou Cascading. Luigi n'est pas un cadre pour remplacer ceux-ci. Au lieu de cela, il vous aide à assembler de nombreuses tâches, chaque tâche pouvant être une requête Hive, un travail Hadoop en Java, un travail Spark dans Scala ou Python, un extrait de code Python, le transfert d'une table à partir d'une base de données ou autre. Il est facile de mettre en place des pipelines de longue durée comprenant des milliers de tâches et nécessitant des jours, voire des semaines. Luigi prend en charge une grande partie de la gestion du flux de travail afin que vous puissiez vous concentrer sur les tâches elles-mêmes et leurs dépendances.
Vous pouvez créer à peu près toutes les tâches de votre choix, mais Luigi est également livré avec une boîte à outils contenant plusieurs modèles de tâches courants que vous utilisez. Il inclut la prise en charge de l’exécution des travaux Python mapreduce dans Hadoop, ainsi que des travaux Hive et Pig. Il contient également des abstractions de système de fichiers pour HDFS et des fichiers locaux garantissant que toutes les opérations du système de fichiers sont atomiques. Ceci est important car cela signifie que votre pipeline de données ne plantera pas dans un état contenant des données partielles.
Partagez votre opinion sur le logiciel, laissez un avis et contribuez à l'améliorer encore davantage !
Proposer des changements
Vos commentaires
Your vote has been counted.
Do you have experience using this software?
