Robots.txt Generator - kostenloses Tool

Unsere SEO Tools zur freien Verwendung

Robots.txt Generator


Standard = Alle Bots:  
    
Crawl-Verzögerung:
    
XML Sitemap: (leer lassen, wenn Sie keine Sitemap haben) 
     
Suchroboter: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Eingeschränkte Verzeichnisse: Der Pfad ist relativ zu root und muss einen abschließenden Schrägstrich enthalten "/"
 
 
 
 
 
 
   



Erstellen Sie jetzt die Datei "robots.txt" in Ihrem Stammverzeichnis. Kopieren Sie den obigen Text und fügen Sie ihn in die Textdatei ein.


Robots.txt Generator

Inhalt:

So bedienen Sie den kostenlosen online robots.txt Generator:

Eine robots.txt Datei sagt einer Suchmaschine, welche Unterseiten Ihrer Webseite sie in den Index übernehmen soll und welche nicht. Mehr dazu erfahren Sie in unserem Lexikon: https://www.netz-jaeger.de/lexikon/robots-txt/ Nutzen Sie unseren Generator und genießen Sie die vielen Vorteile:

  • Stapeleinstellungen für alle Befehle im Generator
  • robots.txt als Text und Datei erstellen lassen
  • Alle wichtigen Crawler verfügbar

Einstellungen im Generator vornehmen

Der Generator erleichtert Ihnen die Arbeit, indem alle wichtigen Informationen abgefragt werden. Nachfolgend finden Sie eine Schritt für Schritt Anleitung zur Bedienung des robots.txt Generators:

  1. Im ersten Feld können Spider komplett ausgeschlossen, oder grundsätzlich erlaubt (empfohlen) werden. Wenn Sie allen Spidern das Indizieren Ihrer Webseite verbieten, erübrigen sich alle weiteren Felder des Generators.
  2. Wählen Sie aus, ob es eine Crawl-Verzögerung geben soll. Wenn ja, darf der jeweilige Crawler Ihre Website nur alle 5, 10, 20, 60 oder 120 Sekunden besuchen.
  3. Im dritten Feld geben Sie ihre XML Sitemap an. Sollte Ihre Website keine Sitemap haben, lassen Sie dieses Feld bitte frei, oder erstellen Eine XML Sitemap mit unserem kostenlosen XML Sitemap Generator.
  4. Der Generator stellt Ihnen eine Liste mit allen gängigen Suchmaschinen zur Verfügung. Sollten Sie nur ein Interesse an bestimmten Suchmaschinen haben, können Sie diesen einzeln den Zugriff erlauben oder verbieten.
  5. Zuletzt geben Sie alle Seiten und Ordner an, die nicht indexiert werden sollen. Achten Sie darauf, dass jeder Pfad ein eigenes Feld bekommt und mit einem Schrägstrich endet. Sollten Sie mitten in der Arbeit bemerken, dass Sie einen Fehler gemacht haben oder generell anders vorgehen wollen, können Sie Ihre Eingaben im robots.txt Generator selbstverständlich jederzeit ändern. Weiterhin steht Ihnen unten ein blauer Button mit der Aufschrift "Zurücksetzen" zur Verfügung, wodurch es Ihnen jederzeit freisteht von vorne zu beginnen.

2. Datei kostenlos generieren lassen

Nachdem Sie alle Informationen ins Tool eingegeben haben, erstellt der Generator die robots.txt für Sie. Dabei können Sie zwischen zwei Möglichkeiten wählen:

  1. Nach einem Klick auf den Grünen Button mit der Aufschrift "Erstelle robots.txt" entsteht die robotos.txt in dem weißen Feld unter dem Button. Sie können die Datei dort ansehen, überprüfen und kopieren.
  2. Ein Klick auf den roten Button mit der Aufschrift "Erstellen und speichern als robots.txt" führt zum gleichen Ergebnis. Zusätzlich erhalten Sie allerdings eine fertige Datei, die Sie direkt auf Ihrer Festplatte speichern können.

3. robots.txt über Ihren FTP im Root hinterlegen

Nach der Erstellung der robots.txt müssen Sie diese Implementieren. Dies ist verläuft in der Regel sehr unkompliziert: Speichern Sie die Datei als robots.txt ab und laden Sie sie in das Rootverzeichnis der Domain auf den FTP Server.

Sobald das geschehen ist, muss jeder Crawler zuerst diese Datei interpretieren. Dadurch erfährt er, ob er Ihre Website bzw. die einzelnen Unterseiten besuchen und indexieren darf. Sollten bei der Hinterlegung der robots.txt Fragen oder Probleme auftauchen, wenden Sie sich gerne an uns.

Haben Sie zu Ihrer robots.txt noch Fragen?

Funktioniert Ihre robots.txt nicht oder nicht so wie gewünscht? Sind Sie sich unsicher, was Sie in einem der Felder angeben sollen? Wenn ja, melden Sie sich gerne bei uns, damit wir das Problem lösen können.

Bei Bedarf, unterstützt Sie die Agentur Netz Jäger nicht nur bei Ihrer robots.txt, sondern bei Ihrem gesamten SEO Projekt. Von der Analyse Ihrer bisherigen Webseite, über die Optimierung bis hin zur strategischen und operativen Betreuung übernehmen wir alle Aufgaben, die Ihre Website weiter nach vorne bringen. Fragen Sie uns nach einem kostenlosen und unverbindlichen Angebot.

Häufige Fragen zur robots.txt Datei:

Wofür wird die robots.txt benötigt?

Die robots.txt Date wird verwendet, um das Verahlten von Suchmaschinenrobotern zu steuern. Wenn z.B. bei einer bestimmten Unterseite nicht gewünscht wird, dass diese von Bots aufgerufen werden kann, so wird diese Unterseite für Roboter über die robots.txt Datei mit dem Befehl "Disallow" gesperrt. Hier gehts zum robots.txt Generator

Wo finde ich die robots.txt Datei?

Die robots.txt Datei befindet sich auf der ersten Ebene Ihres Seitenbaumes. Man kann die Datei aufrufen, indem man www.domain.de/robot.txt in der Adresszeile des Browsers eingibt. Bei Ihrem Hoster finden Sie die Datei über Ihren FTP Zugang. Hier gehts zum robots.txt Generator

Kann die robots.txt Datei selbst erstellt werden?

Ja. Mit unserem kostenlosen robots.txt Generator kann die Datei ganz einfach selbst erstellt und konfiguriert werden.

Wie prüfe ich, ob die Datei richtig konfiguriert ist?

Sie können dies prüfen, indem Sie alle Seiten sichten, welche in der robots.txt Datei erwähnt werden. Hier müssen Sie dann entscheiden, ob die jeweilige Seite im Index aufgenommen werden darf oder nicht. Unter "Allow" sollten bestmöglich alle Seiten Ihrer Internetpräsenz stehen und unter "Disallow" nur die Bereiche Ihrer Seite, die nicht in den Index dürfen.

Ist eine robots.txt zwingend notwendig?

Nein. Die robots.txt Datei ist optional, bietet jedoch einige Vorteile in Bezug auf die Suchmaschinenoptimierung.

Warum sollte die XML Sitemap in die robots.txt?

Beim Aufruf Ihrer Seite wird die Suchmaschine immer zuerst auf die robots.txt Datei stoßen. Wenn Sie dort Ihre sitemap.xml hinterlegt haben, ist die Wahrscheinlichkeit groß, dass die Indexierung Ihrer Seite ohne Fehler verläuft.