Die Robots Datei ist der "Chef" von deiner Webseite. Sie sagt den verschiedenen Website-Crawlern welche Seiten angeschaut werden dürfen und welche nicht. Zu finden ist diese Datei jeweils unter www.url.ch/robots.txt. Am meisten wird diese Datei dazu verwendet, um z.B. Google zu sagen, ob eine Webseite indexiert, sprich ins Google Verzeichnis aufgenommen werden darf, oder eben nicht.
