Oprogramowanie
Oto lista 5 bezpłatnych i płatnych alternatyw dla Luigi. Główni konkurenci obejmują StackStorm, Azkaban. Oprócz tego, użytkownicy porównują także Luigi z Apache Airflow, Apache Oozie, Zenaton. Ponadto można spojrzeć na inne podobne opcje tutaj: About.
Oto lista 5 bezpłatnych i płatnych alternatyw dla Luigi. Główni konkurenci obejmują StackStorm, Azkaban. Oprócz tego, użytkownicy porównują także Luigi z Apache Airflow, Apache Oozie, Zenaton. Ponadto można spojrzeć na inne podobne opcje tutaj: About.
StackStorm to potężna platforma automatyzacji typu open source, która łączy wszystkie Twoje aplikacje ...
Azkaban to harmonogram zadań zadań wsadowych stworzony na LinkedIn w celu uruchamiania zadań Hadoop.
Airflow to platforma do programowego tworzenia, planowania i monitorowania przepływów pracy
Zestaw narzędzi dla programistów służący do integracji usług stron trzecich w ich aplikacjach z monitorowaniem i ...
Luigi to moduł Pythona, który pomaga budować złożone potoki zadań wsadowych.
Luigi to moduł Pythona, który pomaga budować złożone potoki zadań wsadowych.
Linux
Celem Luigi jest zajęcie się wszystkimi instalacjami hydraulicznymi zwykle związanymi z długotrwałymi procesami wsadowymi. Chcesz połączyć wiele zadań, zautomatyzować je, a wystąpią awarie. Te zadania mogą być dowolne, ale zazwyczaj są to długotrwałe zadania, takie jak zadania Hadoop, zrzut danych do / z baz danych, uruchamianie algorytmów uczenia maszynowego lub cokolwiek innego.
Istnieją inne pakiety oprogramowania, które koncentrują się na niższych poziomach przetwarzania danych, takich jak Hive, Pig lub Cascading. Luigi nie jest ramą zastępującą je. Zamiast tego pomaga połączyć wiele zadań razem, przy czym każde zadanie może być zapytaniem Hive, zadaniem Hadoop w Javie, zadaniem Spark w Scali lub Pythonem fragmentem Pythona, zrzutem tabeli z bazy danych lub czymkolwiek innym. Łatwo jest zbudować długotrwałe rurociągi, które składają się z tysięcy zadań i których realizacja zajmuje kilka dni lub tygodni. Luigi dba o zarządzanie przepływem pracy, dzięki czemu możesz skupić się na samych zadaniach i ich zależnościach.
Możesz zbudować praktycznie dowolne zadanie, ale Luigi ma również zestaw narzędzi z kilku popularnych szablonów zadań, których używasz. Obejmuje obsługę uruchamiania zadań mapreduce w języku Python w Hadoop, a także zadań Hive i Pig. Zawiera także abstrakcje systemu plików dla HDFS oraz pliki lokalne, które zapewniają, że wszystkie operacje na systemie plików są atomowe. Jest to ważne, ponieważ oznacza to, że potok danych nie ulegnie awarii w stanie zawierającym częściowe dane.
Podziel się swoją opinią na temat oprogramowania, napisz recenzję i pomóż jeszcze bardziej je ulepszyć!
Zaproponuj zmiany
Twoja opinia
Your vote has been counted.
Do you have experience using this software?
