Mit dem Befehl Disallow schließen Sie einzelne Dateien und Verzeichnisse von der Indizierung durch die Suchmaschinen aus. Sie können hierbei einzelne Robots ausschließen, oder Regeln für alle Robots festlegen. Wichtig ist der / am Ende des Eintrags. Er gibt an, ob es sich um ein Verzeichnis handelt oder nicht. Verwenden Sie zum Erstellen der Datei einen Texteditor wie Notepad, da eine Textverarbeitung oder HTML-Editor unter Umständen zusätzlichen Code einfügt. Die Datei ist dann möglicherweise wirkungslos.

Die folgenden Zeilen verbietet dem Robot-xy den Zugriff auf alle Seiten und Verzeichnisse Ihres Webservers:

User-agent: Robot-xy
Disallow: /

Die folgende Zeilen verbietet Robot-ab und Robots-cd den Zugriff auf alle Seiten Ihres Webservers. Es wird nichts verboten:

User-agent: Robot-ab
User-agent: Robot-cd
Disallow:

Geben Sie hinter User-agent: einen Stern *ein gelten die Befehle für alle Spider, die bisher nicht genannt wurden. So verbieten Sie allen Spidern das durchsuchen des Ordners images und das indizieren der Datei info.php:

User-agent: *
Disallow: /images/
Disallow: /info.php

Achtung: Die Datei Robots.txt gibt immer nur Empfehlungen an die Spider aus. Wenn Sie etwas auf dem Server sicher schützen verwenden Sie bitte einen Passwortschutz.

Susann, schreibt seit 2006 für das Tipps-Archiv. Bevorzugte Themen: Computer/Hardware, Wordpress, Windows und Internet.