Anzeige

Robots.txt Generator / Checker

Mit Hilfe einer robots.txt können Sie bestimmte Dateien oder Verzeichnisse sperren und somit den Robots der Suchmaschinen verbieten, diese zu indexieren. Die grossen Suchdienste wie z.B. Google und Yahoo halten sich in der Regel daran. Die Robots.txt wird nach dem Robots Exclusion Standard erstellt, ist eine Textdatei und muß auch mit einem Texteditor bearbeitet werden. Sie wird von den Robots der Suchmaschinen bei jedem Besuch einer Webseite angefragt. Auch wenn nicht benötigt, sollte zumindest eine leere Robots.txt vorhanden sein.

Searchcode.de ( Generator )

Searchcode bietet auf seiner Webseite einen leicht zu bedienenden Generator an. Die Erstellung erfolgt in mehreren Schritten - nach Anleitung.

Vorteil:
Sehr einfach zu bedienendes Online-Tool.

sxw.org.uk ( Checker )

Prüft die robots.txt auf korekten Syntax.