Was bedeutet "Robot.txt"
Im Lexikon Suchmaschinenoptimierung finden Sie die Definition dafür. Das Lexikon Suchmaschinenoptimierung ist das Wörterbuch rund um die Optimierung von Webseiten für Suchmaschinen.
Bei Robots.txt handelt es sich um eine Textdatei, die der Robot einer Suchmaschine beim Besuch der Webseite als erstes liest. Diese Textdatei liegt im Hauptverzeichnis (Root-Directory) einer Domain und steuert die Indexierung der Suchmaschine. In dieser Textdatei wird im Prinzip festgelegt ob der Robot die Webseite besuchen darf und wie er dieses darf. Somit können beispielsweise bestimmte Seiten für einen Robot gesperrt werden, oder auch die Seiten für bestimmte Robots gesperrt werden. Dies gibt den Betreibern eines Webseite die Möglichkeit ausgesuchte Dateien für bestimmte Suchmaschinen zu sperren, beispielsweise ist dies von Vorteil, wenn es sich um nicht aktuelle Dokumente handelt. Robots.txt kann als Standard betrachtet werden, da es heute allgemein anerkannt wird, es wurde im Jahre 1994 bereits entwickelt. Diesbezüglich muss man heute jedoch zwischen „freundlichen“ Robots und „aggressiven“ Robots unterscheiden. Die ersten halten sich an das vorhandene Protokoll, die letzteren missachten dieses (zum Beispiel E-Mail Sammler und Gästebuch-Spammer).
In unserem Lexikon für die Suchmaschinenoptimierung bieten wir eine Vielzahl an erklärten Begriffen. Sollte einmal ein Beitrag nicht ausreichend beschrieben sein, haben Sie die Möglichkeit diesen zu verbessern. Nutzen Sie dafür unser entsprechendes Formular.
|
