IT-Academy Logo
Sign Up Login Help
Home - Internet - Web-Marketing - Suchmaschinenoptimierung - Suchmaschinenoptimierung: eine robots.txt erstellen



Suchmaschinenoptimierung: eine robots.txt erstellen

Suchmaschinen beachten META-Tags schon seit langem nicht mehr. Heutzutage werden sogenannte "robots.txt"-Dateien verwendet. Obwohl dieser Begriff wohl jeden bekannt ist, wissen viele nicht wie man so etwas erstellt. Dieser Artikel zeigt wie.


Autor: Patrick Faes (dreamer)
Datum: 20-06-2005, 20:44:45
Referenzen: keine
Schwierigkeit: none
Ansichten: 4114x
Rating: 7 (2x bewertet)

Hinweis:

Für den hier dargestellte Inhalt ist nicht der Betreiber der Plattform, sondern der jeweilige Autor verantwortlich.
Falls Sie Missbrauch vermuten, bitten wir Sie, uns unter missbrauch@it-academy.cc zu kontaktieren.

[Druckansicht] [Als E-Mail senden] [Kommentar verfassen]



Einführung

Die Zeit wo jede Seite einen META-Tag "robots" haben musste, ist schon längst vorbei. Klar werden solche Tags noch verwendet, jedoch beachtet kaum noch eine Suchmaschine diese. Viel interessanter ist da eine sogennante "robots.txt". Dies ist eine reine Textdatei die Suchmaschinen mitteilt welche Dateien und Verzeichnisse nicht durchsucht werden dürfen.

Die Syntax

Eine Anweisung besteht aus zwei Schlüsselwörtern: User-agent und Disallow. Ersteres soll den Namen der Suchmaschine enthalten, während "disallow" etwa soviel bedeutet wie "kein Zutritt" (Achtung: die Angabe Allow gibt es nicht). Diese sollen für jede Suchmaschine einzeln definiert werden und jeweils untereinander stehen:

User-agent: Googlebot-image
Disallow: /Privat.html

User-agent: *
Disallow: /Privat/


Dabei sollten einige Stylregeln beachtet werden, da manche Suchmaschinen die robots.txt anders nicht richtig interpretieren:
  1. Sie sollten die Schriftgröße bei User-agent und Disallow beachten
  2. Die Schlüsselwörter sollten auf einzelne Linien stehen
  3. Vor diese Schlüsselwörter sollten keine Leerzeichen stehen
Mit einem #-Zeichen können Sie Kommentare einfügen. Obwohl Kommentare oft am Ende einer Linie vorkommen, sollten Sie Kommentare bevorzugterweise auf separate Linien schreiben, z.B.:

# Einschränkung für Google
User-agent: Googlebot
Disallow: /Privat/


Die Angabe welche Datei oder welches Verzeichnis nicht durchsucht werden darf, kann wie folgt gemacht werden:
  1. /Privat/ : das Verzeichnis mit dem Namen "Privat" darf nicht durchsucht werden. Hierfür sind beide Schrägstriche notwendig. Beachten Sie beim Namen des Verzeichnisses auf die Schriftgröße!
  2. Privat.html : die Datei "Privat.html" wird nicht von der Suchmaschine gelesen
  3. Privat : alle Dateien mit den Namen "Privat" werden nicht gelesen, wobei die Datei-Endung nicht beachtet wird
  4. /Privat : das Verzeichnis "Privat" und alle Dateien mit den Namen "Privat" werden nicht gelesen
Beachten Sie dabei dass diese Pfade relativ angegeben werden im Verzeichnis wo sich die robots.txt befindet. Normalerweise stellt man diese im selben Verzeichnis wie der Index-Seite. Wenn Sie ein Unterverzeichnis sperren wollen, dann machen Sie das so:

User-agent: googlebot
Disallow: /Privat/Bilder/


Wenn Sie für eine Suchmaschine mehrere Seiten, Dateien oder Verzeichnisse sperren wollen, dann müssen Sie diese alle auf eine einzelne Zeile schreiben, z.B.:

User-agent: googlebot
Disallow: /Privat/
Disallow: Privat.html
Disallow: versperrt.cgi


Auch werden in Zukunft sogenannt Wildcards verwendet werden können. Bis jetzt ist nur sicher, dass Google diese unterstützt. Wildcards ersetzen eine beliebige Reihe von Zeichen, z.B.:

User-agent: googlebot
Disallow: *.cgi


In diesem Beispiel werden alle Dateien mit der Endung ".cgi" gesperrt für Google.

Mit nur einem Schrägstrich werden alle Verzeichnisse gesperrt, Beispiel:

User-agent: googlebot
Disallow: /


Sie können die Suchmaschinen namentlich angeben, jedoch werden Sie bestimmte Verzeichnisse wohl für alle Suchmaschinen sperren wollen. Dabei wäre es wohl nicht realisierbar alle Suchmaschinen aufzunehmen. Hierbei gibt es auch eine Wildcard (die auch von alle Suchmaschinen verwendet wird):

User-agent: *
Disallow: /Privat/


Eine Liste mit Namen der Suchmaschinen finden Sie bei Siteware.ch.


dreamer
Expert
Beitrag vom:
20-06-2005, 22:21:19

Noch eine gute Quelle

Mehr Namen von Suchmaschinen finden Sie unter http://www.jafsoft.com/searchengines/webbots.html.

Alternativ suchen Sie in Google nach "Suchmaschinen" "Agent Name" o.ä.

-----------------------------------------------------


[back to top]



Userdaten
User nicht eingeloggt

Gesamtranking
Werbung
Datenbankstand
Autoren:04506
Artikel:00815
Glossar:04116
News:13565
Userbeiträge:16552
Queueeinträge:06241
News Umfrage
Ihre Anforderungen an ein Online-Zeiterfassungs-Produkt?
Mobile Nutzung möglich (Ipone, Android)
Externe API Schnittstelle/Plugins dritter
Zeiterfassung meiner Mitarbeiter
Exportieren in CSV/XLS
Siehe Kommentar



[Results] | [Archiv] Votes: 1140
Comments: 0