Pagina 1 van 1
robots.txt
Geplaatst: 08 feb 2006, 18:41
door t.r.i.n.
Ik zou graag een robots.txt bestand op mijn webruimt plaatsen. De zoekrobots mogen vrij mijn site bekijken en indexeren, ik neem aan dat daar geen problemen mee zijn ? Hoe zou een goed bestand er moeten uitzien ?
Geplaatst: 08 feb 2006, 18:43
door Styno
Als de robots toegang mogen hebben is het het makkelijkste om helemaal geen robots file te plaatsen.
Geplaatst: 08 feb 2006, 18:46
door t.r.i.n.
Styno schreef:Als de robots toegang mogen hebben is het het makkelijkste om helemaal geen robots file te plaatsen.
Welke andere zaken kan je nog definiëren in zo'n bestand ?
Ik had zo'n robots.txt ook graag gebruikt om in mijn statistieken van mijn site wat minder code 404's te hebben.
Geplaatst: 08 feb 2006, 19:10
door Ken
http://www.google.be/robots.txt
http://www.belgacom.be/robots.txt
Check maar een paar grote sites na, er zitten 'handige' voorbeelden tussen.
robots
Geplaatst: 01 jul 2007, 00:18
door DriesV
Als iedereen alles van je site mag zien kun je eenvoudig een txt bestandje aanmaken met het volgende:
"User-agent: *"
Vermeld ook nog in je header-code:
<META NAME="ROBOTS" CONTENT="All">
That should do it...
mvg
Dries
Geplaatst: 01 jul 2007, 00:29
door hellsnake