Was ist dieser robots.txt-Checker?
Ein kostenloses Online-Tool zur Überprüfung der robots.txt-Datei einer Website. Geben Sie einen Site-Root oder eine robots.txt-URL ein und die Datei wird abgerufen, die Regeln analysiert und die Allow-/Disallow-Anweisungen gruppiert nach User-Agent, allen als Links deklarierten Sitemaps und etwaiger Crawling-Verzögerung angezeigt. Sie können auch einen bestimmten Pfad (und optional einen Benutzeragenten) testen, um zu sehen, ob er zulässig oder nicht zulässig ist, indem Sie Regeln für die längste Übereinstimmung im Google-Stil verwenden. Nur die von Ihnen eingegebene URL wird von unserem Server abgerufen – erforderlich, um die CORS-Einschränkungen des Browsers zu umgehen.
Wie man es benutzt
- Geben Sie einen Site-Root (z. B. https://example.com) oder eine robots.txt-URL ein. Für einen Site-Root fügen wir /robots.txt automatisch hinzu.
- Klicken Sie auf „Robots.txt prüfen“, um es abzurufen und zu analysieren.
- Überprüfen Sie die nach Benutzeragenten gruppierten Regeln und die deklarierten Sitemaps. Geben Sie optional einen Pfad (und einen Benutzeragenten) ein, um zu testen, ob er zulässig oder nicht zulässig ist.
Häufige Anwendungsfälle
- Bestätigen, dass das Crawlen einer wichtigen Seite nicht versehentlich blockiert wird.
- Überprüfen, ob eine bestimmte URL für den Googlebot zulässig oder nicht zulässig ist.
- Überprüfen Sie, ob Ihre Sitemap in robots.txt deklariert ist.
