Crawler

einetter® » Glossar » C » Crawler

Crawler

Ein Crawler, besser bekannt unter der Bezeichnung Webcrawler, bezeichnet eine spezielle Art eines automatisierten Computerprogramms, also eines Bots. Er dient der Sammlung von Informationen aus dem Internet, welche für verschiedene Zwecke genutzt werden können.

Funktion von Webcrawlern

Durchsucht ein Crawler das Internet, folgt er dabei wie ein surfender Nutzer den auf einer Website angegebenen Hyperlinks. Diese werden systematisch während der Analyse der Website aufgelistet und anschließen der Reihe nach besucht. Insbesondere für Suchmaschinen ist dieser Vorgang wichtig, da diese allein auf diesem Wege Websites indexieren und damit bei Suchanfragen berücksichtigen können. In diesem Sinne werden Crawler im Einsatz für Suchmaschinen auch kritisiert, da Websites, welche nicht von anderen Websites verlinkt sind oder nicht direkt via Link erreichbar sind, nicht von Crawlern indexiert werden können. Die Gesamtheit dieser nicht indexierten Websites wird auch als "Deep Web" bezeichnet.

Der erst Crawler...

Der erste Crawler, bekannt als der "World Wide Web Wanderer", für das Internet wurde bereits 1993 in Betrieb genommen um das Wachstum des Internets zu verfolgen. Allein ein Jahr später ging für die erste wirkliche Suchmaschine, wie wir sie heute kennen, der "WebCrawler" in Betrieb. Von diesem leitet sich auch bis heute noch der Begriff ab. Durch die schnell wachsende Anzahl an Suchmaschinen und den damit verbundenen Crawlern entwickelten sich auch die Anzahl der Crawler schnell weiter. Man schätzt, dass allein die Crawler, welche sich durch das Internet bewegen, ca. 40% des gesamten Internet-Traffics verursachen.