Robots.txt Generator - kostenloses Tool

Robots.txt Generator

Standard = Alle Bots:	erlauben aussperren
Crawl-Verzögerung:	Standard - keine Verzögerung 5 Sekunden 10 Sekunden 20 Sekunden 60 Sekunden 120 Sekunden
XML Sitemap: (leer lassen, wenn Sie keine Sitemap haben)
Suchroboter:	Google	standard erlauben aussperren
	Google Image	standard erlauben aussperren
	Google Mobile	standard erlauben aussperren
	MSN Search	standard erlauben aussperren
	Yahoo	standard erlauben aussperren
	Yahoo MM	standard erlauben aussperren
	Yahoo Blogs	standard erlauben aussperren
	Ask/Teoma	standard erlauben aussperren
	GigaBlast	standard erlauben aussperren
	DMOZ Checker	standard erlauben aussperren
	Nutch	standard erlauben aussperren
	Alexa/Wayback	standard erlauben aussperren
	Baidu	standard erlauben aussperren
	Naver	standard erlauben aussperren
	MSN PicSearch	standard erlauben aussperren
Eingeschränkte Verzeichnisse:	Der Pfad ist relativ zu root und muss einen abschließenden Schrägstrich enthalten "/"

Erstellen Sie jetzt die Datei "robots.txt" in Ihrem Stammverzeichnis. Kopieren Sie den obigen Text und fügen Sie ihn in die Textdatei ein.

Robots.txt Generator

Inhalt:

• Bedienung
• Einstellungen
• Datei generieren
• Einbau
• Fragen

So bedienen Sie den kostenlosen online robots.txt Generator:

Eine robots.txt Datei sagt einer Suchmaschine, welche Unterseiten Ihrer Webseite sie in den Index übernehmen soll und welche nicht. Mehr dazu erfahren Sie in unserem Lexikon: https://www.netz-jaeger.de/lexikon/robots-txt/ Nutzen Sie unseren Generator und genießen Sie die vielen Vorteile:

• Stapeleinstellungen für alle Befehle im Generator
• robots.txt als Text und Datei erstellen lassen
• Alle wichtigen Crawler verfügbar

Einstellungen im Generator vornehmen

Der Generator erleichtert Ihnen die Arbeit, indem alle wichtigen Informationen abgefragt werden. Nachfolgend finden Sie eine Schritt für Schritt Anleitung zur Bedienung des robots.txt Generators:

1. Im ersten Feld können Spider komplett ausgeschlossen, oder grundsätzlich erlaubt (empfohlen) werden. Wenn Sie allen Spidern das Indizieren Ihrer Webseite verbieten, erübrigen sich alle weiteren Felder des Generators.
2. Wählen Sie aus, ob es eine Crawl-Verzögerung geben soll. Wenn ja, darf der jeweilige Crawler Ihre Website nur alle 5, 10, 20, 60 oder 120 Sekunden besuchen.
3. Im dritten Feld geben Sie ihre XML Sitemap an. Sollte Ihre Website keine Sitemap haben, lassen Sie dieses Feld bitte frei, oder erstellen Eine XML Sitemap mit unserem kostenlosen XML Sitemap Generator.
4. Der Generator stellt Ihnen eine Liste mit allen gängigen Suchmaschinen zur Verfügung. Sollten Sie nur ein Interesse an bestimmten Suchmaschinen haben, können Sie diesen einzeln den Zugriff erlauben oder verbieten.
5. Zuletzt geben Sie alle Seiten und Ordner an, die nicht indexiert werden sollen. Achten Sie darauf, dass jeder Pfad ein eigenes Feld bekommt und mit einem Schrägstrich endet. Sollten Sie mitten in der Arbeit bemerken, dass Sie einen Fehler gemacht haben oder generell anders vorgehen wollen, können Sie Ihre Eingaben im robots.txt Generator selbstverständlich jederzeit ändern. Weiterhin steht Ihnen unten ein blauer Button mit der Aufschrift "Zurücksetzen" zur Verfügung, wodurch es Ihnen jederzeit freisteht von vorne zu beginnen.

2. Datei kostenlos generieren lassen

Nachdem Sie alle Informationen ins Tool eingegeben haben, erstellt der Generator die robots.txt für Sie. Dabei können Sie zwischen zwei Möglichkeiten wählen:

1. Nach einem Klick auf den Grünen Button mit der Aufschrift "Erstelle robots.txt" entsteht die robotos.txt in dem weißen Feld unter dem Button. Sie können die Datei dort ansehen, überprüfen und kopieren.
2. Ein Klick auf den roten Button mit der Aufschrift "Erstellen und speichern als robots.txt" führt zum gleichen Ergebnis. Zusätzlich erhalten Sie allerdings eine fertige Datei, die Sie direkt auf Ihrer Festplatte speichern können.

3. robots.txt über Ihren FTP im Root hinterlegen

Nach der Erstellung der robots.txt müssen Sie diese Implementieren. Dies ist verläuft in der Regel sehr unkompliziert: Speichern Sie die Datei als robots.txt ab und laden Sie sie in das Rootverzeichnis der Domain auf den FTP Server.

Sobald das geschehen ist, muss jeder Crawler zuerst diese Datei interpretieren. Dadurch erfährt er, ob er Ihre Website bzw. die einzelnen Unterseiten besuchen und indexieren darf. Sollten bei der Hinterlegung der robots.txt Fragen oder Probleme auftauchen, wenden Sie sich gerne an uns.

Haben Sie zu Ihrer robots.txt noch Fragen?

Funktioniert Ihre robots.txt nicht oder nicht so wie gewünscht? Sind Sie sich unsicher, was Sie in einem der Felder angeben sollen? Wenn ja, melden Sie sich gerne bei uns, damit wir das Problem lösen können.

Bei Bedarf, unterstützt Sie die Agentur Netz Jäger nicht nur bei Ihrer robots.txt, sondern bei Ihrem gesamten SEO Projekt. Von der Analyse Ihrer bisherigen Webseite, über die Optimierung bis hin zur strategischen und operativen Betreuung übernehmen wir alle Aufgaben, die Ihre Website weiter nach vorne bringen. Fragen Sie uns nach einem kostenlosen und unverbindlichen Angebot.