# Erstellt am: 10.01.2012, 12:45

# Webseite: http://www.marions-webdesign.de

# ===================================

Sitemap: http://www.marions-webdesign.de/sitemap.xml

# ===================================

# Folgende Seiten sollen nicht indexiert werden:

# ===================================

User-agent: *
Disallow: /admin/
Disallow: /temp/ # Die Dateien sind sehr kurzlebig
Disallow: /logs/ # Die ändern sich jeden Tag
Disallow: /bilder/ # Bilder nicht downloaden
Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren
Disallow: /phpunity-useronline/
Disallow: /phpunity-randomcontent/

# Die news.html ändert sich täglich

# ===================================

# Schließe folgende Spider komplett aus:

# ===================================

User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /