# robots.txt for http://www.backzutatenverband.de/ # Zugriff auf alle Dateien erlauben User-agent: * Disallow: # Beispiele fuer Ausschluss: # Disallow: /temp/ # Die Dateien sind sehr kurzlebig # Disallow: /logfiles/ # Die aendern sich jeden Tag # Disallow: /bilder/ # Bilder nicht downloaden # Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren # Disallow: /news.html # Die news.html aendert sich taeglich