Zurück zu den Tools

Kostenloser Robots.txt-Generator

Der kostenlose robots.txt-Dateigenerator ermöglicht es Ihnen, basierend auf Eingaben einfach eine robots.txt-Datei für Ihre Website zu erstellen.

robots.txt ist eine Datei, die im Stammverzeichnis Ihrer Website platziert werden kann, um Suchmaschinen zu helfen, Ihre Website angemessener zu indexieren. Suchmaschinen wie Google verwenden Website-Crawler oder Roboter, die den gesamten Inhalt Ihrer Website überprüfen. Es kann Teile Ihrer Website geben, die Sie nicht möchten, dass sie in den Suchergebnissen der Benutzer durchsucht werden, wie z.B. die Admin-Seite. Sie können diese Seiten der Datei hinzufügen, um sie explizit zu ignorieren. Robots.txt-Dateien verwenden etwas, das als Robots Exclusion Protocol bezeichnet wird. Diese Website wird die Datei für Sie einfach generieren, indem Sie die auszuschließenden Seiten eingeben.


Standard - Alle Robots sind:

Crawl-Verzögerung:

Sitemap:

Suchroboter:


Google

Google Image

Google Mobile

MSN Search

Yahoo

Yahoo MM

Yahoo Blogs

Ask/Teoma

GigaBlast

DMOZ Checker

Nutch

Alexa/Wayback

Baidu

Naver

MSN PicSearch

Eingeschränkte Verzeichnisse:
Der Pfad ist relativ zum Root und muss einen abschließenden Schrägstrich "/" enthalten