Nakijken
robots.txt nakijken
Alleen openbare pagina’s, één tegelijk
Gratis, tot 30 aanvragen per 10 minuten per bezoeker.
Alleen openbaar, zelf ingegeven
Handig Web leest alleen pagina’s die iedereen zonder login kan zien, en alleen het adres dat jij ingeeft. Loginpagina’s slaat het over.
Geen e-mailadressen of telefoonnummers
Handig Web weigert die te verzamelen. Links naar mailto: en tel: worden enkel geteld, nooit getoond of geëxporteerd.
Auteursrecht blijft
Teksten, tabellen en afbeeldingen blijven van wie ze maakte. Gebruik ze om na te kijken of te citeren met bron, niet om over te nemen.
Eén pagina tegelijk
Geen sites leegtrekken. Handig Web leest wat jij ingeeft: een pagina, een korte lijst of de sitemap die een site zelf aanbiedt. Het volgt robots.txt en houdt het tempo laag.
Zo werkt het
robots.txt nakijken in drie stappen
Plak het adres
Van de site of van een pagina erop; Handig Web kijkt naar /robots.txt van die site.
Lees de regels
Handig Web toont de groepen per bot, de sitemaps en regels die het niet begrijpt, met regelnummers.
Test een pad
Kies een bot en typ een pad. Je ziet meteen of het mag en welke regel beslist; die regel licht op in het bestand.
Vragen
Goed om te weten
Welke regel wint als er meerdere passen?
De langste regel die past, volgens de norm RFC 9309. Zijn een Allow en een Disallow even lang, dan wint Allow. Een * staat voor eender wat en een $ voor het einde van het adres.
Is robots.txt een slot op de deur?
Nee, het is een vraag aan nette bots. Wie echt iets geheim wil houden, zet het achter een login. Handig Web volgt robots.txt altijd.
Wat als een site geen robots.txt heeft?
Dan mag alles. Geeft de server een fout (5xx), dan mag volgens de norm voorlopig niets; Handig Web leest die site dan niet.