Software
Abbiamo compilato una lista di 5 alternative gratuite e a pagamento a Luigi. I principali concorrenti includono StackStorm, Apache Oozie. Inoltre, gli utenti fanno anche confronti tra Luigi e Azkaban, Apache Airflow, Zenaton. Puoi anche dare un'occhiata ad altre opzioni simili qui: About.
Abbiamo compilato una lista di 5 alternative gratuite e a pagamento a Luigi. I principali concorrenti includono StackStorm, Apache Oozie. Inoltre, gli utenti fanno anche confronti tra Luigi e Azkaban, Apache Airflow, Zenaton. Puoi anche dare un'occhiata ad altre opzioni simili qui: About.
9
StackStorm è una potente piattaforma di automazione open source che collega tutte le tue app ...
6
6
Azkaban è uno scheduler di processi di flusso di lavoro batch creato su LinkedIn per eseguire lavori Hadoop.
3
Airflow è una piattaforma per creare, pianificare e monitorare a livello di codice i flussi di lavoro
-1
Set di strumenti per sviluppatori per l'integrazione di servizi di terze parti nella loro applicazione con monitoraggio e ...
10
Luigi è un modulo Python che ti aiuta a costruire pipeline complesse di lavori batch.
Luigi è un modulo Python che ti aiuta a costruire pipeline complesse di lavori batch.
Linux
Lo scopo di Luigi è quello di affrontare tutti gli impianti idraulici tipicamente associati a processi batch di lunga durata. Vuoi concatenare molte attività, automatizzarle e si verificheranno errori. Queste attività possono essere qualsiasi cosa, ma in genere sono cose di lunga durata come lavori Hadoop, scaricamento di dati da / verso database, esecuzione di algoritmi di machine learning o qualsiasi altra cosa.
Esistono altri pacchetti software che si concentrano su aspetti di livello inferiore dell'elaborazione dei dati, come Hive, Pig o Cascading. Luigi non è un framework per sostituirli. Invece ti aiuta a ricucire molte attività insieme, dove ogni attività può essere una query Hive, un lavoro Hadoop in Java, un lavoro Spark in Scala o Python uno snippet Python, scaricando una tabella da un database o qualsiasi altra cosa. È facile costruire pipeline di lunga durata che comprendono migliaia di attività e richiedono giorni o settimane per il completamento. Luigi si occupa di gran parte della gestione del flusso di lavoro in modo che tu possa concentrarti sulle attività stesse e sulle loro dipendenze.
Puoi creare praticamente qualsiasi attività tu voglia, ma Luigi ha anche una cassetta degli attrezzi con diversi modelli di attività comuni che usi. Include il supporto per l'esecuzione di lavori mapreduce Python in Hadoop, così come i lavori Hive e Pig. Viene inoltre fornito con astrazioni di file system per HDFS e file locali che assicurano che tutte le operazioni del file system siano atomiche. Questo è importante perché significa che la pipeline di dati non si arresta in modo anomalo in uno stato contenente dati parziali.
Condividi la tua opinione sul software, lascia una recensione e contribuisci a migliorarlo ulteriormente!
Suggerisci modifiche
Il tuo feedback
Your vote has been counted.
Do you have experience using this software?
