언어 선택

Luigi

Luigi 대안

5개의 무료 및 유료 대안을 Luigi에 대한 목록으로 정리했습니다. 주요 경쟁 업체는 StackStorm, Azkaban입니다. 이 외에도 사용자들은 Luigi와 Apache Airflow, Apache Oozie, Zenaton 간에 비교를 하기도 합니다. 또한 여기서 다른 유사한 옵션을 살펴볼 수 있습니다: About.

StackStorm

Free Open Source

StackStorm은 모든 앱을 연결하는 강력한 오픈 소스 자동화 플랫폼입니다 ...

Azkaban

Free Open Source

Azkaban은 Hadoop 작업을 실행하기 위해 LinkedIn에서 만든 일괄 작업 흐름 작업 스케줄러입니다.

Apache Airflow

Free Open Source

Airflow는 프로그래밍 방식으로 워크 플로를 작성, 예약 및 모니터링 할 수있는 플랫폼입니다

Apache Oozie

Hadoop 용 Apache Oozie 워크 플로우 스케줄러

-8

Zenaton

모니터링 및 모니터링을 통해 타사 서비스를 응용 프로그램에 통합하기위한 개발자 도구 세트

Luigi

Free

Open Source

웹사이트 방문

Luigi는 복잡한 배치 작업 파이프 라인을 구축하는 데 도움이되는 Python 모듈입니다.

Luigi 플랫폼

Linux

Luigi 비디오와 스크린샷

Luigi 개요

Luigi의 목적은 일반적으로 장기 실행 배치 프로세스와 관련된 모든 배관을 해결하는 것입니다. 많은 작업을 연결하고 자동화하면 실패가 발생합니다. 이러한 작업은 무엇이든 가능하지만 일반적으로 Hadoop 작업, 데이터베이스에서 데이터를 덤프하거나 머신 러닝 알고리즘을 실행하는 등의 장기 실행 작업입니다.

Hive, Pig 또는 Cascading과 같은 데이터 처리의 하위 수준에 중점을 둔 다른 소프트웨어 패키지가 있습니다. Luigi는이를 대체 할 프레임 워크가 아닙니다. 대신 각 작업이 Hive 쿼리, Java의 Hadoop 작업, Scala 또는 Spark의 Spark 작업, Python 스 니펫, 데이터베이스에서 테이블을 덤프하는 등 다양한 작업을 함께 연결하는 데 도움이됩니다. 수천 개의 작업으로 구성되며 완료하는 데 며칠 또는 몇 주가 걸리는 장기 실행 파이프 라인을 쉽게 구축 할 수 있습니다. Luigi는 많은 워크 플로 관리를 관리하므로 작업 자체와 해당 종속성에 집중할 수 있습니다.

원하는 작업을 거의 대부분 만들 수 있지만 Luigi에는 사용하는 몇 가지 일반적인 작업 템플릿이 포함 된 도구 상자도 제공됩니다. Hdoop 및 Pig 작업뿐만 아니라 Hadoop에서 Python mapreduce 작업 실행을 지원합니다. 또한 HDFS에 대한 파일 시스템 추상화와 모든 파일 시스템 작업이 원 자성을 보장하는 로컬 파일과 함께 제공됩니다. 이는 데이터 파이프 라인이 부분 데이터를 포함하는 상태에서 충돌하지 않기 때문에 중요합니다.

최고의 Luigi 대안

소프트웨어에 대한 의견을 공유하고 리뷰를 남겨 더 나아지도록 도와주세요!

Luigi 태그

etl

웹사이트 방문