Программное обеспечение
Мы составили список из 5 бесплатных и платных аналогов Luigi. Основные конкуренты: StackStorm, Apache Oozie. Кроме того, пользователи также проводят сравнения между Luigi и Azkaban, Apache Airflow, Zenaton. Также вы можете рассмотреть другие аналогичные варианты здесь: About.
Мы составили список из 5 бесплатных и платных аналогов Luigi. Основные конкуренты: StackStorm, Apache Oozie. Кроме того, пользователи также проводят сравнения между Luigi и Azkaban, Apache Airflow, Zenaton. Также вы можете рассмотреть другие аналогичные варианты здесь: About.
8
StackStorm - это мощная платформа автоматизации с открытым исходным кодом, которая объединяет все ваши приложения ...
6
5
Azkaban - это планировщик пакетных заданий, созданный в LinkedIn для запуска заданий Hadoop.
1
Airflow - это платформа для программного создания, планирования и мониторинга рабочих процессов.
-2
Набор инструментов разработчика для интеграции сторонних сервисов в их приложения с мониторингом и ...
10
Luigi - это модуль Python, который помогает вам создавать сложные конвейеры пакетных заданий.
Luigi - это модуль Python, который помогает вам создавать сложные конвейеры пакетных заданий.
Linux
Цель Luigi - решить все вопросы, связанные с длительным периодическим процессом. Вы хотите связать много задач, автоматизировать их, и произойдут сбои. Этими задачами могут быть все что угодно, но обычно это такие долго выполняемые вещи, как задания Hadoop, выгрузка данных в / из баз данных, запуск алгоритмов машинного обучения или что-то еще.
Существуют и другие программные пакеты, которые фокусируются на низкоуровневых аспектах обработки данных, таких как Hive, Pig или Cascading. Луиджи не является основой для их замены. Вместо этого он помогает объединить многие задачи, где каждая задача может быть запросом Hive, заданием Hadoop в Java, заданием Spark в Scala или Python, фрагментом Python, выгрузкой таблицы из базы данных или чем-либо еще. Легко построить долговременные конвейеры, которые содержат тысячи задач и занимают дни или недели. Луиджи много заботится об управлении рабочим процессом, чтобы вы могли сосредоточиться на самих задачах и их зависимостях.
Вы можете создать практически любую задачу, которую хотите, но Luigi также поставляется с набором инструментов из нескольких распространенных шаблонов задач, которые вы используете. Он включает поддержку выполнения заданий Python mapreduce в Hadoop, а также заданий Hive и Pig. Он также поставляется с абстракциями файловой системы для HDFS и локальными файлами, которые обеспечивают атомарность всех операций файловой системы. Это важно, потому что это означает, что ваш конвейер данных не потерпит крах в состоянии, содержащем частичные данные.
Поделитесь своим мнением о программном обеспечении, оставьте отзыв и помогите сделать его еще лучше!
Предложить изменения
Ваш отзыв
Your vote has been counted.
Do you have experience using this software?
