Crawler sind Programme von Suchmaschinen, die automatisch die Daten Ihres Webservers abrufen um sie in ihren Index zu legen. Leider ist das auch mit einem gewissen Traffic verbunden, der Ihnen im ersten Moment gar nichts bringt, und möglicherweise sogar Ihren Server blockiert. Zwar legen die Suchmaschinen diese Zugriffein die trafficschwachen Zeiten, also beispielsweise nachts um 3. Dennoch kann Ihr Server überlastet sein. Gerade wenn Sie viele Seiten haben, und der Server nicht so schnell ist.

Yahoo Crawler bremsen
Wenn Sie merken, dass Ihr Server aufgrund eines Crawlers Probleme bekommt, können Sie den Crawler natürlich ausschließen. Meist reicht es aber auch den Crawler zu bremsen. Im Falle des Yahoo Crawlers geht das über die robots.txt. Fügen Sie einfach die folgende Zeile ein:


User-agent: Slurp
Crawl-delay: 1.0

Der Wert Crawl Delay gibt die Verzögerung zwischen dem Aufruf von einzelnen Seiten an. Er kann die Werte von 0.5 bis 5.0 annehmen.

#Server

Susann, schreibt seit 2006 für das Tipps-Archiv. Bevorzugte Themen: Computer/Hardware, Wordpress, Windows und Internet.