Eine robots.txt ist eine Textdatei im Rootverzeichnis einer Webseite und wird verwendet um das Verhalten von Crawlbots auf Webseiten zu bestimmen und somit auch das Crawlbudget von Suchmaschinen für die jeweilige Seite zu steuern.
Letzte Aktualisierung: März 17, 2019
März 17, 2019 1737 Redaktion Suchmaschinenoptimierung
Insgesamt 0 Stimmen:
0
0