SEO-Tool: Robots.txt Generator kostenlos

Search Engine Optimization

Robots.txt Generator


Default - All Robots are:  
    
Crawl-Delay:
    
Sitemap: (leave blank if you don't have) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Restricted Directories: The path is relative to root and must contain a trailing slash "/"
 
 
 
 
 
 
   



Now, Create 'robots.txt' file at your root directory. Copy above text and paste into the text file.


About Robots.txt Generator

Wenn Suchmaschinen eine Website crawlen, suchen sie zunächst nach einer robots.txt-Datei im Stammverzeichnis der Domain. Wenn sie gefunden wird, lesen sie die Liste der Richtlinien in der Datei, um zu sehen, welche Verzeichnisse und Dateien, wenn überhaupt, für das Crawling gesperrt sind. Diese Datei kann mit einem robots.txt-Dateigenerator erstellt werden, wie diesem hier.

Google und andere Suchmaschinen können so herausfinden, welche Seiten der Website ausgeschlossen werden sollten. Mit anderen Worten: Die von einem robots.txt-Generator erstellte Datei ist das Gegenteil einer Sitemap, die angibt, welche Seiten aufgenommen werden sollen.


Der robots.txt-Generator

Mit einem robots.txt-Generator kannst du ganz einfach eine neue robots.txt-Datei für deine Website erstellen oder eine bestehende bearbeiten. Verwende den robots.txt-Generator, um Direktiven für Benutzer-Agenten für bestimmte Inhalte auf deiner Website zu erstellen, entweder mit den Direktiven Zulassen oder Nicht zulassen (Erlaubt ist die Standardeinstellung, klicken zum Ändern).

Benutzerdefinierte User-Agent-Direktiven erstellen

In dem robots.txt-Generator können Google und verschiedene andere Suchmaschinen innerhalb deiner Kriterien angegeben werden. Mit den erweiterten Angaben können z.B. auch Suchmaschinen vom Crawlen bestimmter Verzeichnisse "abgehalten" werden. "Abgehalten" in Anführungsstrichen, weil die Robots.txt nur eine KANN-Bestimmung ist. Die meisten Suchmaschinen berücksichtigen diese Datei, sie nimmt ja auch viel Arbeit ab und erhöht die Qualität der Suchergebnisse, manchmal werden diese Angaben aber auch bewusst ignoriert. Dennoch: es ist nicht verkehrt eine solche Datei in das Stammverzeichnis der Domaine zu legen.