Wenn Suchmaschinen eine Website crawlen, suchen sie zunächst nach einer robots.txt-Datei im Stammverzeichnis der Domain. Wenn sie gefunden wird, lesen sie die Liste der Richtlinien in der Datei, um zu sehen, welche Verzeichnisse und Dateien, wenn überhaupt, für das Crawling gesperrt sind. Diese Datei kann mit einem robots.txt-Dateigenerator erstellt werden, wie diesem hier.
Google und andere Suchmaschinen können so herausfinden, welche Seiten der Website ausgeschlossen werden sollten. Mit anderen Worten: Die von einem robots.txt-Generator erstellte Datei ist das Gegenteil einer Sitemap, die angibt, welche Seiten aufgenommen werden sollen.
Mit einem robots.txt-Generator kannst du ganz einfach eine neue robots.txt-Datei für deine Website erstellen oder eine bestehende bearbeiten. Verwende den robots.txt-Generator, um Direktiven für Benutzer-Agenten für bestimmte Inhalte auf deiner Website zu erstellen, entweder mit den Direktiven Zulassen oder Nicht zulassen (Erlaubt ist die Standardeinstellung, klicken zum Ändern).
In dem robots.txt-Generator können Google und verschiedene andere Suchmaschinen innerhalb deiner Kriterien angegeben werden. Mit den erweiterten Angaben können z.B. auch Suchmaschinen vom Crawlen bestimmter Verzeichnisse "abgehalten" werden. "Abgehalten" in Anführungsstrichen, weil die Robots.txt nur eine KANN-Bestimmung ist. Die meisten Suchmaschinen berücksichtigen diese Datei, sie nimmt ja auch viel Arbeit ab und erhöht die Qualität der Suchergebnisse, manchmal werden diese Angaben aber auch bewusst ignoriert. Dennoch: es ist nicht verkehrt eine solche Datei in das Stammverzeichnis der Domaine zu legen.