# die Namen der einzelnen Robots entnimmt man am besten (nach einiger Zeit) # dem Logfile des Servers # das ansprechen eines bestimmten Bots erfolgt mit "User-agent: ........" # das ausschliessen von bestimmten Verzeichnissen erfolgt mit "Disallow: /verzeichnis" # will man das komplette Web fuer einen Robot sperren geht das mit "Disallow: /" # nach dem auswerten des Logfiles kann man die folgenden Abschnitte ergaenzen # alle Robots User-agent: * Disallow: /sys Disallow: /de/menue Disallow: /en/menue # email Sammler draussenbleiben User-agent: EmailCollector Disallow: /