robots.txt

[t.r.i.n.]

Ik zou graag een robots.txt bestand op mijn webruimt plaatsen. De zoekrobots mogen vrij mijn site bekijken en indexeren, ik neem aan dat daar geen problemen mee zijn ? Hoe zou een goed bestand er moeten uitzien ?

[Styno]

Als de robots toegang mogen hebben is het het makkelijkste om helemaal geen robots file te plaatsen.

[t.r.i.n.]

Als de robots toegang mogen hebben is het het makkelijkste om helemaal geen robots file te plaatsen.

Welke andere zaken kan je nog definiëren in zo'n bestand ?

Ik had zo'n robots.txt ook graag gebruikt om in mijn statistieken van mijn site wat minder code 404's te hebben.

[Ken]

http://www.google.be/robots.txt
http://www.belgacom.be/robots.txt

Check maar een paar grote sites na, er zitten 'handige' voorbeelden tussen.

[DriesV]

Als iedereen alles van je site mag zien kun je eenvoudig een txt bestandje aanmaken met het volgende:

"User-agent: *"

Vermeld ook nog in je header-code:

<META NAME="ROBOTS" CONTENT="All">



That should do it...

mvg
Dries

[hellsnake]

Die van userbase is maar leeg:
http://www.userbase.be/robots.txt