User-agent: linkCheck # Datensatz betrifft linkCheck Disallow: /cgi-bin/ # /cgi-bin/ ist ebenfalls gesperrt # Leerzeile beginnt neuen Datensatz User-agent: BadSpider # Datensatz betrifft BadSpider Disallow: / # BadSpider hat Site-Verbot # Leerzeile beginnt neuen Datensatz User-agent: * # letzter Datensatz mit Platzhalter betrifft alle anderen Disallow: /cgi-bin/ # alle Seiten in /instructor/ sind gesperrt Disallow: /staff/ # hier darf [ausser linkCheck, sh. oben] niemand rein Disallow: /instructor/ # hier darf [ausser linkCheck, sh. oben] niemand rein