Software
We hebben een lijst samengesteld van 5 gratis en betaalde alternatieven voor Luigi. De belangrijkste concurrenten zijn StackStorm, Apache Oozie. Daarnaast trekken gebruikers ook vergelijkingen tussen Luigi en Azkaban, Apache Airflow, Zenaton. Ook kun je hier kijken naar andere vergelijkbare opties: About.
We hebben een lijst samengesteld van 5 gratis en betaalde alternatieven voor Luigi. De belangrijkste concurrenten zijn StackStorm, Apache Oozie. Daarnaast trekken gebruikers ook vergelijkingen tussen Luigi en Azkaban, Apache Airflow, Zenaton. Ook kun je hier kijken naar andere vergelijkbare opties: About.
9
StackStorm is een krachtig open-source automatiseringsplatform dat al uw apps met elkaar verbindt ...
6
6
Azkaban is een batchworkflowplanner die op LinkedIn is gemaakt om Hadoop-jobs uit te voeren.
3
Airflow is a platform to programmatically author, schedule and monitor workflows
-1
Toolset voor ontwikkelaars voor het integreren van services van derden in hun applicatie met monitoring en ...
9
Luigi is een Python-module waarmee u complexe pijplijnen van batchtaken kunt bouwen.
Luigi is een Python-module waarmee u complexe pijplijnen van batchtaken kunt bouwen.
Linux
Het doel van Luigi is om al het sanitair aan te pakken dat doorgaans wordt geassocieerd met langlopende batchprocessen. U wilt veel taken ketenen, automatiseren en er zullen fouten optreden. Deze taken kunnen van alles zijn, maar zijn meestal langlopende dingen zoals Hadoop-taken, gegevens dumpen naar / van databases, draaiende machine learning-algoritmen of iets anders.
Er zijn andere softwarepakketten die zich richten op aspecten op een lager niveau van gegevensverwerking, zoals Hive, Pig of Cascading. Luigi is geen kader om deze te vervangen. In plaats daarvan helpt het u veel taken samen te voegen, waarbij elke taak een Hive-query, een Hadoop-taak in Java, een Spark-taak in Scala of Python, een Python-fragment, een tabel uit een database of iets anders kan zijn. Het is gemakkelijk om langlopende pijpleidingen op te bouwen die duizenden taken omvatten en dagen of weken duren om te voltooien. Luigi zorgt voor veel workflowbeheer zodat u zich kunt concentreren op de taken zelf en hun afhankelijkheden.
Je kunt vrijwel elke taak bouwen die je wilt, maar Luigi wordt ook geleverd met een toolbox met verschillende veelvoorkomende taaksjablonen die je gebruikt. Het omvat ondersteuning voor het uitvoeren van Python mapreduce-taken in Hadoop, evenals Hive en Pig-taken. Het wordt ook geleverd met bestandssysteemabstracties voor HDFS en lokale bestanden die ervoor zorgen dat alle bewerkingen van het bestandssysteem atomair zijn. Dit is belangrijk omdat dit betekent dat uw gegevenspijplijn niet crasht in een staat die gedeeltelijke gegevens bevat.
Deel uw mening over de software, laat een beoordeling achter en help om het nog beter te maken!
Wijzigingen voorstellen
Jouw feedback
Your vote has been counted.
Do you have experience using this software?
