Prüfen
robots.txt prüfen
Nur öffentliche Seiten, eine nach der anderen
Kostenlos, bis zu 30 Anfragen pro 10 Minuten pro Besucher.
Nur öffentlich, selbst eingegeben
Handig Web liest nur Seiten, die jeder ohne Anmeldung sehen kann, und nur die Adresse, die Sie eingeben. Anmeldeseiten überspringt es.
Keine E-Mail-Adressen oder Telefonnummern
Handig Web weigert sich, diese zu sammeln. Links zu mailto: und tel: werden nur gezählt, nie angezeigt oder exportiert.
Das Urheberrecht bleibt
Texte, Tabellen und Bilder gehören denen, die sie geschaffen haben. Nutzen Sie sie zum Prüfen oder zum Zitieren mit Quelle, nicht zum Übernehmen.
Eine Seite nach der anderen
Keine Websites absaugen. Handig Web liest, was Sie angeben: eine Seite, eine kurze Liste oder die Sitemap, die eine Website selbst anbietet. Es folgt robots.txt und hält das Tempo niedrig.
So funktioniert es
robots.txt prüfen in drei Schritten
Adresse einfügen
Von der Website oder einer Seite darauf; Handig Web schaut auf /robots.txt dieser Website.
Regeln lesen
Handig Web zeigt die Gruppen pro Bot, die Sitemaps und Regeln, die es nicht versteht, mit Zeilennummern.
Pfad testen
Wählen Sie einen Bot und geben Sie einen Pfad ein. Sie sehen sofort, ob er erlaubt ist und welche Regel entscheidet; diese Regel wird in der Datei hervorgehoben.
Fragen
Gut zu wissen
Welche Regel gewinnt, wenn mehrere passen?
Die längste passende Regel, nach der Norm RFC 9309. Sind ein Allow und ein Disallow gleich lang, gewinnt Allow. Ein * steht für Beliebiges und ein $ für das Ende der Adresse.
Ist robots.txt ein Schloss an der Tür?
Nein, es ist eine Bitte an anständige Bots. Wer etwas wirklich geheim halten will, stellt es hinter eine Anmeldung. Handig Web befolgt robots.txt immer.
Was, wenn eine Website keine robots.txt hat?
Dann ist alles erlaubt. Liefert der Server einen Fehler (5xx), ist nach der Norm vorläufig nichts erlaubt; Handig Web liest diese Website dann nicht.