Vérifier
Vérifier le robots.txt
Pages publiques uniquement, une à la fois
Gratuit, jusqu’à 30 demandes par 10 minutes par visiteur.
Uniquement public, saisi par vous
Handig Web lit uniquement les pages que tout le monde peut voir sans connexion, et uniquement l’adresse que vous saisissez. Il ignore les pages de connexion.
Ni adresses e-mail ni numéros de téléphone
Handig Web refuse de les collecter. Les liens mailto: et tel: sont seulement comptés, jamais affichés ni exportés.
Le droit d’auteur reste
Les textes, tableaux et images appartiennent à ceux qui les ont créés. Utilisez-les pour vérifier ou pour citer avec la source, pas pour les reprendre.
Une page à la fois
Pas d’aspiration de sites. Handig Web lit ce que vous indiquez : une page, une courte liste ou le sitemap qu’un site propose lui-même. Il respecte robots.txt et garde un rythme lent.
Comment ça marche
Vérifier le robots.txt en trois étapes
Collez l’adresse
Du site ou d’une de ses pages ; Handig Web regarde le /robots.txt de ce site.
Lisez les règles
Handig Web affiche les groupes par robot, les sitemaps et les règles qu’il ne comprend pas, avec les numéros de ligne.
Testez un chemin
Choisissez un robot et tapez un chemin. Vous voyez aussitôt si c’est permis et quelle règle décide ; cette règle s’illumine dans le fichier.
Questions
À savoir
Quelle règle l’emporte si plusieurs correspondent ?
La règle correspondante la plus longue, selon la norme RFC 9309. Si un Allow et un Disallow sont de même longueur, Allow l’emporte. Un * signifie n’importe quoi et un $ la fin de l’adresse.
Le robots.txt est-il un verrou sur la porte ?
Non, c’est une demande adressée aux robots corrects. Pour garder vraiment quelque chose secret, placez-le derrière une connexion. Handig Web respecte toujours le robots.txt.
Et si un site n’a pas de robots.txt ?
Alors tout est permis. Si le serveur renvoie une erreur (5xx), rien n’est permis pour l’instant selon la norme ; Handig Web ne lit alors pas ce site.