言語を選択

Luigi

Luigi の代替手段

Luigi の代わりとなる 5 個の無料および有料のリストをまとめました。主な競合相手はStackStorm、 Azkabanです。これらに加えて、ユーザーは Luigi と Apache Airflow、 Apache Oozie、 Zenaton の間の比較も行います。また、他の同様のオプションもここで確認できます: About。

StackStorm

Free Open Source

StackStorm is a powerful open-source automation platform that wires together all of your apps...

Azkaban

Free Open Source

Azkabanは、Hadoopジョブを実行するためにLinkedInで作成されたバッチワークフロージョブスケジューラです。

Apache Airflow

Free Open Source

Airflowは、ワークフローをプログラムで作成、スケジュール、および監視するためのプラットフォームです

Apache Oozie

Apache Oozie Workflow Scheduler for Hadoop

Zenaton

-9

サードパーティのサービスを監視とアプリケーションに統合するための開発者ツールセット...

Luigi

Free

Open Source

ウェブサイトを訪問する

Free

Open Source

ウェブサイトを訪問する

Luigiは、バッチジョブの複雑なパイプラインの構築を支援するPythonモジュールです。

Luigi プラットフォーム

Linux

Luigi ビデオとスクリーンショット

Luigi 概要

Luigiの目的は、長時間実行されるバッチプロセスに通常関連するすべての配管に対処することです。多くのタスクを連鎖させ、それらを自動化すると、障害が発生します。これらのタスクは何でもかまいませんが、通常、Hadoopジョブ、データベースとのデータのダンプ、機械学習アルゴリズムの実行など、長時間実行されます。

Hive、Pig、Cascadingなど、データ処理の低レベルの側面に焦点を当てた他のソフトウェアパッケージがあります。 Luigiはこれらを置き換えるフレームワークではありません。代わりに、多くのタスクをつなぎ合わせるのに役立ちます。各タスクは、Hiveクエリ、JavaのHadoopジョブ、ScalaまたはPythonのSparkジョブ、Pythonスニペット、データベースからのテーブルのダンプなどです。数千のタスクで構成され、完了するまでに数日または数週間かかる長期実行パイプラインを簡単に構築できます。 Luigiは多くのワークフロー管理を行っているため、タスク自体とその依存関係に集中できます。

ほぼすべてのタスクを作成できますが、Luigiには、使用するいくつかの一般的なタスクテンプレートのツールボックスも付属しています。これには、HadoopでPython mapreduceジョブを実行するためのサポートと、HiveおよびPigのジョブが含まれます。また、HDFS用のファイルシステム抽象化、およびすべてのファイルシステム操作がアトミックであることを保証するローカルファイルも付属しています。これは、部分的なデータを含む状態でデータパイプラインがクラッシュしないことを意味するため、重要です。

トップLuigiの代替案

ソフトウェアについての意見を共有し、レビューを残してさらに向上させるのに役立てましょう！

Luigi タグ

etl

ウェブサイトを訪問する