Wie kann ich die Suchmaschinen lenken?
Die robots.txt-Datei
Mit Hilfe der Datei robots.txt lassen sich die
Suchmaschinen-Roboter („robots“
oder „spider“) lenken. Dadurch
lassen sie sich dazu bewegen, bestimmte Seiten oder sogar ganze
Ordner nicht abzusuchen, was z. B. für Ordner wichtig ist, die man
nur zum Testen verwendet.
Aussehen der robots.txt
Füge folgenden Inhalt an Deine eigenen Seiten angepaßt in eine
Textdatei ein und speichere diese im root-Verzeichnis Deiner
Website unter dem Namen robots.txt ab:
# modified 2003/01/10 User-agent: * # directed to all robots Allow: /gast/ Allow: /news/ Allow: /portal.htm Allow: /united.htm Disallow: /_borders/ Disallow: /_themes/ Disallow: /images/ Disallow: /error/ Disallow: /_test/ Disallow: /kontakt.html Disallow: /danke.html Disallow: /echo_error.html Disallow:
Mit Allow werden die
robots ausdrücklich eingeladen, die
entsprechenden Verzeichnisse oder Seiten zu durchsuchen, während mit
Disallow der Zugriff „verboten“
wird. Das fehlen einer Angabe (hier hinter dem letzten
Disallow) bedeutet: „Alles ist
erlaubt!“ Die Pfade mußt Du natürlich Deinen eigenen
Gegebenheiten anpassen.
Der Stern * dient als Platzhalter und steht für
„alles“. Die erste Zeile User-agent:
* # directed to all robots richtet sich also an
alle user agents, also
besuchende Programme. Beachte Groß- und Kleinschreibung! Zwischen
der Angabe User-agent: und den folgenden
(zu diesem user agent) gehörenden) Zeilen
dürfen keine Leerzeilen sein.
Kommentare werden durch das Gatterzeichen # gekennzeichnet:
Alles, was in derselben Zeile noch folgt, wird ignoriert.
Achtung: Die Angaben in der robots.txt
sind keine Befehle, sondern nur
Empfehlungen für die Suchmaschinen. Sie müssen
sich also nicht daran halten – und einige tun das auch nicht.
Viel Spaß!
Literatur: