robots.txt
-
Styno
- Elite Poster
- Berichten: 1440
- Lid geworden op: 06 nov 2003, 17:38
- Locatie: Somewhere over the rainbow....
Als de robots toegang mogen hebben is het het makkelijkste om helemaal geen robots file te plaatsen.
echo '[q]sa[ln0=aln256%Pln256/snlbx]sb3135071790101768542287578439snlbxq'|dc
echo '16i[q]sa[ln0=aln100%Pln100/snlbx]sbA0D4D465452snlbxq'|dc
echo '16i[q]sa[ln0=aln100%Pln100/snlbx]sbA0D4D465452snlbxq'|dc
Welke andere zaken kan je nog definiëren in zo'n bestand ?Styno schreef:Als de robots toegang mogen hebben is het het makkelijkste om helemaal geen robots file te plaatsen.
Ik had zo'n robots.txt ook graag gebruikt om in mijn statistieken van mijn site wat minder code 404's te hebben.
-
Ken
- Elite Poster
- Berichten: 4229
- Lid geworden op: 04 apr 2005, 23:18
- Locatie: België
- Uitgedeelde bedankjes: 47 keer
- Bedankt: 94 keer
http://www.google.be/robots.txt
http://www.belgacom.be/robots.txt
Check maar een paar grote sites na, er zitten 'handige' voorbeelden tussen.
http://www.belgacom.be/robots.txt
Check maar een paar grote sites na, er zitten 'handige' voorbeelden tussen.
Internet = Proximus Business Flex Fiber 1000/100 & back-up Telenet Business Fibernet 300/30 Mbps
Fixed phone = OVH VoIP Entreprise
Mobile= Destiny Mobile Unlimited + Samsung S21
TV = FTA IPTV + Netflix
Network = 100% MikroTik powered
Car = Tesla Model 3 (Team blue)
Als iedereen alles van je site mag zien kun je eenvoudig een txt bestandje aanmaken met het volgende:
"User-agent: *"
Vermeld ook nog in je header-code:
<META NAME="ROBOTS" CONTENT="All">
That should do it...
mvg
Dries
"User-agent: *"
Vermeld ook nog in je header-code:
<META NAME="ROBOTS" CONTENT="All">
That should do it...
mvg
Dries
