# robots.txt Beeinflusst die Suchmaschinenroboter

# Die Datei robots.txt muß im Stammverzeichnis liegen. 
# Es darf nur eine pro Domain geben. Es gilt die Kleinschreibung, 
# also nur "robots.txt" und niemals "Robots.txt" oder "robots.TXT".
# Kommentare fügen Sie so ein: "# Mein Kommentar"


# User-Agent bezeichnet den Spider. 
# Das Sternchen * gilt als Jokerzeichen und bedeutet, 
# daß die folgenden Zeilen für alle Spider gelten. 

# Mit "Disallow" werden bestimmte Verzeichnisse (Ordner) für die 
# Robots gesperrt. Pro Verzeichnis ist eine Zeile notwendig. 

# ******************************
# Alle Roboter ausschließen 
# User-agent: * 
# Disallow: / 
# ******************************
# ******************************
# Alle Roboter einladen. Eine leere Datei erfüllt den gleichen Zweck 
#User-agent: *
# Disallow:
# ******************************
# ******************************
# Alle Roboter von bestimmten Verzeichnissen fernhalten
#User-agent: *
Disallow: /images/
Disallow: /test/
# ******************************
# ******************************
# Einen bestimmten Robot ausschließen
# User-agent: Sidewinder
# Disallow: /
# ******************************
# ******************************
# Einen bestimmten Robot einladen 
# User-agent: WebCrawler
# Disallow: 
# ******************************
# ******************************
# Mehrere Dateien ausschließen 
# Meine Roboter Info
User-agent: *
Disallow: /x-vorlage.htm