برنامج
لقد قمنا بتجميع قائمة تحتوي على 5 بدائل مجانية ومدفوعة لـ Luigi. وتشمل المنافسون الرئيسيون: StackStorm، Apache Oozie. بالإضافة إلى ذلك، يقوم المستخدمون أيضًا بعمل مقارنات بين Luigi و Azkaban، Apache Airflow، Zenaton. كما يمكنك النظر في خيارات مماثلة أخرى هنا: About.
لقد قمنا بتجميع قائمة تحتوي على 5 بدائل مجانية ومدفوعة لـ Luigi. وتشمل المنافسون الرئيسيون: StackStorm، Apache Oozie. بالإضافة إلى ذلك، يقوم المستخدمون أيضًا بعمل مقارنات بين Luigi و Azkaban، Apache Airflow، Zenaton. كما يمكنك النظر في خيارات مماثلة أخرى هنا: About.
8
StackStorm عبارة عن نظام أساسي قوي للأتمتة مفتوحة المصدر يجمع جميع تطبيقاتك ...
6
6
Azkaban عبارة عن جدولة مهمة لسير العمل دفعة تم إنشاؤها في LinkedIn لتشغيل وظائف Hadoop.
1
-4
10
Luigi عبارة عن وحدة بيثون تساعدك على بناء خطوط أنابيب معقدة من وظائف الدُفعات.
Luigi عبارة عن وحدة بيثون تساعدك على بناء خطوط أنابيب معقدة من وظائف الدُفعات.
Linux
الغرض من Luigi هو معالجة جميع أعمال السباكة المرتبطة عادةً بعمليات الدفعات طويلة الأجل. إنك ترغب في ربط العديد من المهام بأتمتة ، وستحدث حالات الفشل. يمكن أن تكون هذه المهام أي شيء ، ولكنها عادة ما تكون أشياء طويلة المدى مثل وظائف Hadoop ، أو تفريغ البيانات من / إلى قواعد البيانات ، أو تشغيل خوارزميات التعلم الآلي ، أو أي شيء آخر.
هناك حزم برامج أخرى تركز على الجوانب ذات المستوى الأدنى من معالجة البيانات ، مثل Hive أو Pig أو Cascading. لويجي ليس إطارًا ليحل محلها. بدلاً من ذلك ، يساعدك في تجميع العديد من المهام معًا ، حيث يمكن أن تكون كل مهمة استعلامًا من خلايا Hive ، أو وظيفة Hadoop في Java ، أو وظيفة Spark في Scala أو Python مقتطف Python ، أو التخلص من جدول من قاعدة بيانات ، أو أي شيء آخر. من السهل إنشاء خطوط أنابيب طويلة الأمد تضم آلاف المهام وتستغرق أيامًا أو أسابيع حتى تكتمل. تهتم Luigi بالكثير من إدارة سير العمل بحيث يمكنك التركيز على المهام بأنفسهم وتبعياتهم.
يمكنك إنشاء أي مهمة تريدها إلى حد كبير ، ولكن Luigi يأتي أيضًا مع صندوق أدوات من عدة قوالب مهمة شائعة تستخدمها. يتضمن دعمًا لتشغيل وظائف Python mapreduce في Hadoop ، بالإضافة إلى وظائف Hive و Pig. كما أنه يأتي مع تجريدات نظام الملفات لـ HDFS ، والملفات المحلية التي تضمن أن جميع عمليات نظام الملفات ذرية. هذا مهم لأنه يعني أن خط أنابيب البيانات الخاص بك لن يتعطل في حالة تحتوي على بيانات جزئية.
شارك رأيك حول البرمجيات، اترك تقييمًا وساعد في تحسينها أكثر!
اقتراح تغييرات
تعليقاتك
Your vote has been counted.
Do you have experience using this software?
