Crawler sind Programme von Suchmaschinen, die automatisch die Daten Ihres Webservers abrufen um sie in ihren Index zu legen. Leider ist das auch mit einem gewissen Traffic verbunden, der Ihnen im ersten Moment gar nichts bringt, und möglicherweise sogar Ihren Server blockiert. Zwar legen die Suchmaschinen diese Zugriffein die trafficschwachen Zeiten, also beispielsweise nachts um 3. Dennoch kann Ihr Server überlastet sein. Gerade wenn Sie viele Seiten haben, und der Server nicht so schnell ist.

Yahoo Crawler bremsen
Wenn Sie merken, dass Ihr Server aufgrund eines Crawlers Probleme bekommt, können Sie den Crawler natürlich ausschließen. Meist reicht es aber auch den Crawler zu bremsen. Im Falle des Yahoo Crawlers geht das über die robots.txt. Fügen Sie einfach die folgende Zeile ein:

User-agent: Slurp
Crawl-delay: 1.0

Der Wert Crawl Delay gibt die Verzögerung zwischen dem Aufruf von einzelnen Seiten an. Er kann die Werte von 0.5 bis 5.0 annehmen.

Diese Artikel behandeln thematisch ähnliche Artikel:

• Yahoo-Meta-Suchmaschine Alpha
• Yahoo Widgets – Shortcut Manager räumt auf
• Yahoo Widgets – Network Interface Statistics Monitor
• Yahoo Toolbar mit PopUp-Blocker
• XAMPP – Apache Webserver fertig mit PHP und MySQL
• WP Super Cache
• WP Cache

Was meinen Sie dazu?

Name:

E-mail:

Website:

Kommentar:

Keine Werbung in Kommentaren
Nutzen Sie die Kommentarfunktion nicht für Schleichwerbung. Wenn Sie einen neuen Service oder ein klasse Produkt bewerben möchten, können Sie im Tipps-Archiv auch einen Review erhalten. Wir testen Ihr Produkt und schreiben darüber. Weitere Info