Crawler sind Programme von Suchmaschinen, die automatisch die Daten Ihres Webservers abrufen um sie in ihren Index zu legen. Leider ist das auch mit einem gewissen Traffic verbunden, der Ihnen im ersten Moment gar nichts bringt, und möglicherweise sogar Ihren Server blockiert. Zwar legen die Suchmaschinen diese Zugriffein die trafficschwachen Zeiten, also beispielsweise nachts um 3. Dennoch kann Ihr Server überlastet sein. Gerade wenn Sie viele Seiten haben, und der Server nicht so schnell ist.
Yahoo Crawler bremsen
Wenn Sie merken, dass Ihr Server aufgrund eines Crawlers Probleme bekommt, können Sie den Crawler natürlich ausschließen. Meist reicht es aber auch den Crawler zu bremsen. Im Falle des Yahoo Crawlers geht das über die robots.txt. Fügen Sie einfach die folgende Zeile ein:
User-agent: Slurp
Crawl-delay: 1.0
Der Wert Crawl Delay gibt die Verzögerung zwischen dem Aufruf von einzelnen Seiten an. Er kann die Werte von 0.5 bis 5.0 annehmen.
Schlagwörter: Server, Yahoo
Diese Artikel könnten Sie interessieren:
Test für DNS-ChangerDer DNS-Changer ist eine Schadsoftware, die wie der Name schon erahnen lässt mit dem Internet zu tun hat. Und zwar leitet der DNS-Changer Internetanfragen auf [...]
Verzeichnis sichern mit .htaccess und .htpasswdEin Verzeichnis sichern mit .htaccess und .htpasswd gehört zu den ursprünglichsten Aufgaben eines Webservers. Nur mit dem entsprechenden Passwort kann man auf die Seite oder [...]
Managed V-Server – Providerdienste VPS M v2Die Firma Providerdienste bietet neben managed Servern und Root-Servern auch eine interessantes Produkt an für User, denen ein kompletter Server zu groß ist, die aber [...]
Managed Server – Strato PowerServer MDer Strato PowerServer M ist der kleinste Managed Server bei Strato. Dafür ist auch der Preis sehr günstig. Also gerade für kleine Websites, die keinen [...]
Managed ServerEin Managed Server ist ein dedizierter Server bei dem sich der Anbieter um den Server kümmert. Der Managed Server wird nicht nur vom Anbieter eingerichtet, [...]
swa: Natürlich ist es sinnvoll den Speicher aufzurüsten. Dass es Geräte gibt bei denen das nicht geht ...
Timo: Ich tippe auch darauf das sich alle damit vertun!, denn eben habe ich auch die Klappe auf der Rücks ...
Metehan: Im Internet kursieren so viele Meinungen, man solle bei dem Gerät den Speicher auf 2 GB aufrüsten. ...
FibreFoX: Das ist ein toller Hinweis, um die Performance ein wenig zu optimieren, allerdings hat diese Optimie ...
Siggi: das ist ein tolles teil. leider bekomme ich diese eingabefeld-typen nicht richtig hin. ich möchte z ...
interdoc: So etwas suche ich schon lange, da ich mich nicht an die .htaccess heran wage.
Christian: Mag schon günstig sein, aber ob mit den Komponenten wirklich jemand etwas anfangen kann ist die and ...
Unter Social Media fallen so bekannte Dienste wie Facebook und Twitter. Ohne Kenntnisse von HTML kann jeder Inhalte veröffentlichen und mit Freunden networken.
Der Firefox ist der beliebteste Browser. Für ihn, aber auch für Google Chrome, gibt es eine Menge an Addons/Erweiterungen.
Fast jeder nutzt Windows. Mit den richtigen Tricks und Kniffen kann man sein System optimieren und beschleunigen.
Die Schwächen von Notebooks und Netbooks sind meist versteckt. Das gilt auch für PCs und Tablet-PCs.
Was meinen Sie dazu?