Webverzeichnis von Indexierung ausschliessen

Dragonlord

PCtipp-Moderation
Teammitglied
robots.txt

Dazu erstellst Du eine "robots.txt"-Datei und schreibst darin folgende Informationen:

robots.txt
Code:
User-agent: *
Disallow: /bilder
Disallow: /CFIDE
Disallow: /cgi-bin
Disallow: /css
Disallow: /de
Disallow: /download
Disallow: /pdf
Disallow: /kalender
Disallow: /template
Disallow: /php
Disallow: /upload
Disallow: /scrollen.js
Disallow: /sha1.js
Disallow: /styles.js
Diese Datei muss in Deinem Webroot liegen und am gleichen Ort sein wie Deine index.html Datei.

Oben siehst Du ein Beispiel wie dieser Inhalt aussehen sollte.

lg Roger
 

The Dude

Stammgast
Vielen Dank für die schnelle Antwort.
Habe mehrer Ordner im Verzeichnis HTML (Hauptverzeichnis) die Domain (Hauptdomain) wird dann jedoch in ein Unterverzeichnis Bsp. "homepage" geleitet. Wenn ich nun im Ordner HTML ein Unterverzeichnis "fotos" erstelle und dies mittels Subdomain ansteuern will, kann ich einfach eine robots.txt im Ordner HTML erstellen?

Währe diese robots.txt so korrekt?
Code:
User-agent: *
Disallow: /fotos
Wird dann der gesamte Inhalt des Verzeichnis "fotos" nicht indexiert?
 
Oben