Yazılım
5 ücretsiz ve ücretli Luigi alternatiflerinin bir listesini derledik. Başlıca rakipler şunları içerir: StackStorm, Apache Oozie. Bunların yanı sıra, kullanıcılar Luigi ile Azkaban, Apache Airflow, Zenaton arasında karşılaştırmalar da yaparlar. Ayrıca burada diğer benzer seçeneklere de göz atabilirsiniz: About.
5 ücretsiz ve ücretli Luigi alternatiflerinin bir listesini derledik. Başlıca rakipler şunları içerir: StackStorm, Apache Oozie. Bunların yanı sıra, kullanıcılar Luigi ile Azkaban, Apache Airflow, Zenaton arasında karşılaştırmalar da yaparlar. Ayrıca burada diğer benzer seçeneklere de göz atabilirsiniz: About.
9
StackStorm, tüm uygulamalarınızı bir araya getiren güçlü bir açık kaynaklı otomasyon platformudur ...
6
5
Azkaban, Hadoop işlerini yürütmek için LinkedIn'de oluşturulan toplu iş akışı iş zamanlayıcısıdır.
1
Airflow, iş akışlarını programlı olarak yazan, programlayan ve izleyen bir platformdur
-2
Üçüncü taraf hizmetlerini izleme ve uygulamalarıyla uygulamalarına entegre etmek için geliştirici araç seti ...
10
Luigi, toplu işlerin karmaşık boru hatlarını oluşturmanıza yardımcı olan bir Python modülüdür.
Luigi, toplu işlerin karmaşık boru hatlarını oluşturmanıza yardımcı olan bir Python modülüdür.
Linux
Luigi'nin amacı, tipik olarak uzun süredir devam eden toplu işlemlerle ilişkili olan tüm tesisat işlemlerini ele almaktır. Birçok görevi zincirlemek, otomatikleştirmek ve başarısızlıklar olacaktır. Bu görevler herhangi bir şey olabilir, ancak genellikle Hadoop işleri, veritabanlarına veri aktarma, makine öğrenme algoritmaları çalıştırma veya başka bir şey gibi uzun süren işler olabilir.
Hive, Pig veya Cascading gibi veri işlemenin düşük seviyeli yönlerine odaklanan başka yazılım paketleri de var. Luigi bunları değiştirecek bir çerçeve değil. Bunun yerine birçok görevi bir araya getirmenize yardımcı olur; burada her görev bir Hive sorgusu, Java'da bir Hadoop işi, Scala'da bir Spark işi veya Python'da bir Python pasajı olabilir, bir veritabanından bir tabloyu boşaltabilir. Binlerce görevi içeren ve tamamlanması günler veya haftalar alan, uzun süredir devam eden boru hatları oluşturmak kolaydır. Luigi, iş akışı yönetimine büyük önem verir, böylece görevlere ve bağımlılıklarına odaklanabilirsiniz.
İstediğiniz herhangi bir görevi oluşturabilirsiniz, ancak Luigi ayrıca kullandığınız birçok ortak görev şablonunun bir araç kutusuyla birlikte gelir. Hadoop'ta Python mapreduce işlerinin yanı sıra Hive ve Pig işlerini çalıştırma desteğini de içerir. Ayrıca, HDFS için dosya sistemi soyutlamaları ve tüm dosya sistemi işlemlerinin atomik olmasını sağlayan yerel dosyalar ile birlikte gelir. Bu önemlidir, çünkü veri hattınızın kısmi veri içeren bir durumda çökmeyeceği anlamına gelir.
Yazılım hakkındaki görüşlerinizi paylaşın, bir inceleme bırakın ve daha da iyileştirmeye yardımcı olun!
Değişiklik Önerin
Geri bildiriminiz
Your vote has been counted.
Do you have experience using this software?
