Software
Wir haben eine Liste von 5 kostenlosen und kostenpflichtigen Alternativen zu Luigi zusammengestellt. Zu den Hauptkonkurrenten gehören StackStorm, Apache Oozie. Neben diesen vergleichen Benutzer auch Luigi mit Azkaban, Apache Airflow, Zenaton. Außerdem können Sie hier auch andere ähnliche Optionen ansehen: About.
Wir haben eine Liste von 5 kostenlosen und kostenpflichtigen Alternativen zu Luigi zusammengestellt. Zu den Hauptkonkurrenten gehören StackStorm, Apache Oozie. Neben diesen vergleichen Benutzer auch Luigi mit Azkaban, Apache Airflow, Zenaton. Außerdem können Sie hier auch andere ähnliche Optionen ansehen: About.
8
StackStorm ist eine leistungsstarke Open-Source-Automatisierungsplattform, die alle Ihre Apps miteinander verbindet ...
6
6
Azkaban ist ein Stapel-Workflow-Jobplaner, der bei LinkedIn erstellt wurde, um Hadoop-Jobs auszuführen.
1
Airflow ist eine Plattform zum programmgesteuerten Erstellen, Planen und Überwachen von Workflows
-3
Entwickler-Toolset zur Integration von Drittanbieter-Diensten in ihre Anwendung mit Überwachung und ...
10
Luigi ist ein Python-Modul, mit dem Sie komplexe Pipelines von Batch-Jobs erstellen können.
Luigi ist ein Python-Modul, mit dem Sie komplexe Pipelines von Batch-Jobs erstellen können.
Linux
Der Zweck von Luigi besteht darin, alle mit lang laufenden Batch-Prozessen verbundenen Installationsprobleme zu lösen. Sie möchten viele Aufgaben verketten, automatisieren und es kommt zu Fehlern. Bei diesen Aufgaben kann es sich um alles handeln, es handelt sich jedoch in der Regel um lange laufende Aufgaben wie Hadoop-Jobs, das Speichern von Daten in / aus Datenbanken, das Ausführen von Algorithmen für maschinelles Lernen oder andere Aufgaben.
Es gibt andere Softwarepakete, die sich auf untergeordnete Aspekte der Datenverarbeitung konzentrieren, z. B. Hive, Pig oder Cascading. Luigi ist kein Rahmen, um diese zu ersetzen. Stattdessen hilft es Ihnen, viele Aufgaben zusammenzufügen, wobei jede Aufgabe eine Hive-Abfrage, ein Hadoop-Job in Java, ein Spark-Job in Scala oder Python, ein Python-Snippet, ein Dump einer Tabelle aus einer Datenbank oder etwas anderes sein kann. Es ist einfach, lang laufende Pipelines aufzubauen, die Tausende von Aufgaben umfassen und deren Fertigstellung Tage oder Wochen in Anspruch nimmt. Luigi kümmert sich hauptsächlich um das Workflow-Management, damit Sie sich auf die Aufgaben selbst und ihre Abhängigkeiten konzentrieren können.
Sie können so ziemlich jede Aufgabe erstellen, die Sie möchten, aber Luigi enthält auch eine Toolbox mit mehreren gängigen Aufgabenvorlagen, die Sie verwenden. Es enthält Unterstützung für die Ausführung von Python-Mapreduce-Jobs in Hadoop sowie von Hive- und Pig-Jobs. Es enthält auch Dateisystemabstraktionen für HDFS und lokale Dateien, die sicherstellen, dass alle Dateisystemvorgänge atomar sind. Dies ist wichtig, da dies bedeutet, dass Ihre Datenpipeline in einem Zustand mit Teildaten nicht abstürzt.
Teilen Sie Ihre Meinung zur Software, hinterlassen Sie eine Bewertung und helfen Sie dabei, sie noch besser zu machen!
Änderungen vorschlagen
Ihr Feedback
Your vote has been counted.
Do you have experience using this software?
