AdSpace » Spidering

Spiders – Der lange Arm der Suchmaschinen

Im Zusammenhang mit Suchmaschinen taucht oft das Wort „Spider“ auf. Ein Spider ist ein Programm, welches Webseiten nach Inhalten absucht. Je besser eine Webseite für solche Spider optimiert ist, desto besser werden auch die Inhalte von der Suchmaschine indexiert und von Benutzer bei der Eingabe nach Stichwörtern gefunden. Um gute und vor allem nachhaltige Suchmaschinenoptimierung zu betreiben, muss man wissen, wie eine Suchmaschine funktioniert.

Suchmaschinen haben die Aufgabe, relevante Suchresultate anzuzeigen, wenn ein Benutzer einen entsprechende Suchphrase eingibt. Suchmaschinen-Spider (Bots) sind automatisierte Programme, welche die Hyperlinkstrukturen von Webseiten nach Dokumenten und HTML-Seiten absuchen (crawlen).

Sobald eine Internetseite erfolgreich gecrawlt worden ist, werden die Inhalte indexiert, das heisst, sie werden in einer riesigen Datenbank gespeichert. Alle diese Dokumente, Seiten und Informationen bilden den Index der Suchmaschine. Es wird geschätzt, dass das Internet rund 20 Milliarden einzelne Seiten umfasst, davon wurden bis jetzt nur rund 50% von Suchmaschinen indexiert!

Wenn die Seiten indexiert und geordnet sind, können diese innerhalb von Sekundenbruchteilen von Suchenden abgerufen werden. Kommt eine solche Suchabfrage bei einer Suchmaschine an, werden Millionen von Datensätzen nach passenden Stichwörtern durchsucht. Sobald die Suchmaschine die passenden Datensätze gefunden hat, berechnet der Suchmaschinen-Algorithmus die Relevanz der einzelnen Resultate und bildet diese in einer Resultateliste ab, aus welcher der Benutzer die für ihn relevanteste Seite aussuchen kann.