Block google en yahoo 'bots' ?

[selder]

In m'n access log van m'n website zie ik (teveel naar m'n goesting) van deze lijnen passeren:

Code: Selecteer alles

207.46.98.144 - - [01/Sep/2005:03:59:16 +0200] "GET /v/Computers/ HTTP/1.0" 200 11257 "-" "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"
68.142.249.32 - - [01/Sep/2005:04:03:30 +0200] "GET /main.php/v/Computers/Selder/DSC00496.jpg.html HTTP/1.0" 200 11101 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Nochtans heb ik een correcte robots.txt in de root van m'n htdocs (dus bij index.php) met volgende inhoud:

Code: Selecteer alles

User-Agent: *
Disallow: /

Waarom komen die idiote bots nog op m'n website??!

[airzimmy]

bwa, zo dramatisch is dat toch niet?

[Sensei Zeon]

Het lijken mij wel yahoo en msn bot, niet google

[wem]

zeker dat de searchbots je robots.txt bestandje kunnen vinden?

Voor de zekerheid, er bestaan validators voor je robots.txt-bestandje

Bij mij werkt het allessinds wel ...

[selder]

Ja, ik heb maar 2 voorbeelden gegeven, maar er staan er nog anderen in ...

En nee dramatisch is dat niet, maar ge moet u toch met iets bezig houden op uw werk zeker? Iets anders dan uw werk bedoel ik dan :d

Maar 'k heb 't al gevonden, het is idd omdat ik een paar subdomeinen heb, en daarin stond nog geen robots.txt bestandje ...