برنامج
لقد قمنا بتجميع قائمة تحتوي على 6 بدائل مجانية ومدفوعة لـ StormCrawler. وتشمل المنافسون الرئيسيون: Scrapy، Mixnode. بالإضافة إلى ذلك، يقوم المستخدمون أيضًا بعمل مقارنات بين StormCrawler و Apache Nutch، ACHE Crawler، ProxyCrawl. كما يمكنك النظر في خيارات مماثلة أخرى هنا: About.
لقد قمنا بتجميع قائمة تحتوي على 6 بدائل مجانية ومدفوعة لـ StormCrawler. وتشمل المنافسون الرئيسيون: Scrapy، Mixnode. بالإضافة إلى ذلك، يقوم المستخدمون أيضًا بعمل مقارنات بين StormCrawler و Apache Nutch، ACHE Crawler، ProxyCrawl. كما يمكنك النظر في خيارات مماثلة أخرى هنا: About.
92
Scrapy هو إطار مفتوح المصدر وتعاوني لاستخراج البيانات التي تحتاجها من مواقع الويب.
56
15
Apache Nutch هو مشروع برنامج زاحف ويب مفتوح المصدر قابل للتوسعة للغاية وقابل للتوسيع.
-1
-3
-5
مشروع زاحف الويب المفتوح المصدر ، القابل للتوسعة ، على نطاق الويب ، بجودة الأرشفة.
8
StormCrawler هو SDK مفتوح المصدر لبناء برامج زحف الويب الموزعة مع Apache Storm.
StormCrawler هو SDK مفتوح المصدر لبناء برامج زحف الويب الموزعة مع Apache Storm.
Windows
Linux
Mac
StormCrawler هو SDK مفتوح المصدر لبناء برامج زحف الويب الموزعة مع Apache Storm. المشروع تحت رخصة Apache v2 ويتكون من مجموعة من الموارد والمكونات القابلة لإعادة الاستخدام ، مكتوبة في الغالب في Java.
الهدف من StormCrawler هو المساعدة في بناء برامج زحف الويب التي هي:
القابلة للتطوير
مرن
قليل من الكمون
من السهل تمديد
مهذبا حتى الآن فعالة
StormCrawler هي مكتبة ومجموعة من الموارد التي يمكن للمطورين الاستفادة منها لبناء برامج الزحف الخاصة بهم. والخبر السار هو أن القيام بذلك يمكن أن يكون بسيطًا جدًا. غالبًا ما يكون كل ما عليك فعله هو إعلان زاحف العاصفة كاعتماد من Maven ، وكتابة فئة طبولوجيا (نصيحة: يمكنك تمديد ConfigurableTopology) ، وإعادة استخدام المكونات التي يوفرها المشروع ، وربما كتابة زوجين مخصصين. لصلصة السري الخاصة بك. قليلا من التغيير والتبديل إلى التكوين وقبالة تذهب!
بصرف النظر عن المكونات الأساسية ، فإننا نوفر بعض الموارد الخارجية التي يمكنك إعادة استخدامها في مشروعك ، على سبيل المثال ، صنبورنا ومساميرنا لـ ElasticSearch أو ParserBolt الذي يستخدم Apache Tika لتحليل تنسيقات المستندات المختلفة.
يعد StormCrawler مناسبًا تمامًا لاستخدام الحالات التي يكون فيها عنوان URL الذي يتم جلبه وتحليله بمثابة تدفقات ، ولكنه يعد أيضًا حلاً مناسبًا لعمليات الزحف العودية واسعة النطاق ، خاصةً عندما يكون زمن الاستجابة المنخفض مطلوبًا. يستخدم المشروع في الإنتاج من قبل العديد من الشركات ويتم تطويره وصيانته بنشاط.
شارك رأيك حول البرمجيات، اترك تقييمًا وساعد في تحسينها أكثر!
اقتراح تغييرات
تعليقاتك
Your vote has been counted.
Do you have experience using this software?
