Gigablast Alternativen

Gigablast Überblick

Gigablast ist eine leistungsstarke, neue OpenSource-Suchmaschine, die Echtzeitindizierungen durchführt!

Eigenschaften

Skalierbar auf Tausende von Servern.
Skaliert auf über 12 Milliarden Webseiten auf über 200 Servern.
Ein Dual Quad Core mit 32 GB RAM und zwei 160 GB Intel SSDs, auf denen 8 Gigablast-Instanzen ausgeführt werden, können bei einem Index von 10 Millionen Seiten etwa 8 qps (Abfragen pro Sekunde) verarbeiten. Die Laufwerke haben fast die maximale Speicherkapazität. Durch Verdoppeln der Indexgröße wird die QPS-Rate mehr oder weniger halbiert. (Performance-Metriken können ungefähr zehnmal schneller erstellt werden, aber ich habe mich noch nicht darum gekümmert. Die Speicherplatznutzung wird wahrscheinlich in etwa gleich bleiben, da sie bereits ziemlich effizient ist.)
1 Million Webseiten benötigen 28,6 GB Festplattenspeicher. Dazu gehören der Index, Metainformationen und das komprimierte HTML aller Webseiten.
Die Spinnenrate beträgt ungefähr 1 Seite pro Sekunde und Kern. So kann ein Dual-Quad-Core 8 Seiten pro Sekunde spinnen und indizieren, was 691.200 Seiten pro Tag entspricht.
Pro Gigablast-Instanz sind 4 GB RAM erforderlich. (Instanz = Prozess)
Live-Demo unter http://www.gigablast.com/
Geschrieben in C / C ++ für optimale Leistung.
Über 500.000 Zeilen C / C ++.
100% benutzerdefinierte. Eine einzelne Binärdatei. Der Webserver, die Datenbank und alles andere sind in diesem Quellcode auf höchst effiziente Weise enthalten. Erleichtert die Verwaltung und Fehlerbehebung.
Zuverlässig. Wurde seit 2002 in der Live-Produktion auf Milliarden von Abfragen auf einem Index von über 12 Milliarden einzigartigen Webseiten getestet, 24 Milliarden gespiegelt.
Super schnell und effizient. Eine von wenigen Suchmaschinen, die so viele Treffer erzielt haben. Die einzige Open-Source-Suchmaschine, die hat.
Unterstützt alle Sprachen. Kann die Ergebnisse in bestimmten Sprachen zur Abfragezeit verbessern. Verwendet intern die UTF-8-Darstellung.
Streckenrekord. Wurde von vielen Kunden genutzt. Wurde erfolgreich in verteilten Unternehmenssoftware verwendet.
Im Cache gespeicherte Webseiten mit hervorgehobenem Suchbegriff.

Mehr anzeigen