robots.txt
-
Styno
- Elite Poster
- Berichten: 1440
- Lid geworden op: 06 nov 2003, 17:38
- Locatie: Somewhere over the rainbow....
Als de robots toegang mogen hebben is het het makkelijkste om helemaal geen robots file te plaatsen.
echo '[q]sa[ln0=aln256%Pln256/snlbx]sb3135071790101768542287578439snlbxq'|dc
echo '16i[q]sa[ln0=aln100%Pln100/snlbx]sbA0D4D465452snlbxq'|dc
echo '16i[q]sa[ln0=aln100%Pln100/snlbx]sbA0D4D465452snlbxq'|dc
Styno schreef:Als de robots toegang mogen hebben is het het makkelijkste om helemaal geen robots file te plaatsen.
Welke andere zaken kan je nog definiëren in zo'n bestand ?
Ik had zo'n robots.txt ook graag gebruikt om in mijn statistieken van mijn site wat minder code 404's te hebben.
-
Ken
- Elite Poster
- Berichten: 4229
- Lid geworden op: 04 apr 2005, 23:18
- Locatie: België
- Uitgedeelde bedankjes: 47 keer
- Bedankt: 94 keer
http://www.google.be/robots.txt
http://www.belgacom.be/robots.txt
Check maar een paar grote sites na, er zitten 'handige' voorbeelden tussen.
http://www.belgacom.be/robots.txt
Check maar een paar grote sites na, er zitten 'handige' voorbeelden tussen.
Internet = Proximus Business Flex Fiber 1000/100 & back-up Telenet Business Fibernet 300/30 Mbps
Fixed phone = OVH VoIP Entreprise
Mobile= Destiny Mobile Unlimited + Samsung S21
TV = FTA IPTV + Netflix
Network = 100% MikroTik powered
Car = Tesla Model 3 (Team blue)
Als iedereen alles van je site mag zien kun je eenvoudig een txt bestandje aanmaken met het volgende:
"User-agent: *"
Vermeld ook nog in je header-code:
<META NAME="ROBOTS" CONTENT="All">
That should do it...
mvg
Dries
"User-agent: *"
Vermeld ook nog in je header-code:
<META NAME="ROBOTS" CONTENT="All">
That should do it...
mvg
Dries
