Alternativas a Gigablast

Gigablast Visión general

¡Gigablast es un motor de búsqueda potente, de código abierto y nuevo que realiza indexación en tiempo real!

Caracteristicas

Escalable a miles de servidores.
Se ha ampliado a más de 12 mil millones de páginas web en más de 200 servidores.
Un doble núcleo cuádruple, con 32 GB de RAM y dos SSD Intel de 160 GB, que ejecutan 8 instancias de Gigablast, pueden hacer aproximadamente 8 qps (consultas por segundo) en un índice de 10 millones de páginas. Las unidades estarán cerca de la capacidad máxima de almacenamiento. Duplicar el tamaño del índice reducirá más o menos a la mitad la tasa de qps. (Las métricas de rendimiento se pueden hacer aproximadamente diez veces más rápido, pero aún no lo he logrado. El uso del espacio en disco probablemente seguirá siendo el mismo porque ya es bastante eficiente).
1 millón de páginas web requieren 28,6 GB de espacio en disco. Eso incluye el índice, la metainformación y el HTML comprimido de todas las páginas web.
La tasa de araña es de alrededor de 1 página por segundo por núcleo. Entonces, un quad quad core puede arañar e indexar 8 páginas por segundo, lo que equivale a 691,200 páginas por día.
Se requieren 4 GB de RAM por instancia de Gigablast. (instancia = proceso)
Demostración en vivo en http://www.gigablast.com/
Written in C/C++ for optimal performance.
Over 500,000 lines of C/C++.
100% custom. A single binary. The web server, database and everything else is all contained in this source code in a highly efficient manner. Makes administration and troubleshooting easier.
De confianza. Has been tested in live production since 2002 on billions of queries on an index of over 12 billion unique web pages, 24 billion mirrored.
Super fast and efficient. One of a small handful of search engines that have hit such big numbers. The only open source search engine that has.
Supports all languages. Can give results in specified languages a boost over others at query time. Uses UTF-8 representation internally.
Track record. Has been used by many clients. Has been successfully used in distributed enterprise software.
Cached web pages with query term highlighting.

Mostrar más