O que é esse verificador robots.txt?
Uma ferramenta online gratuita para inspecionar o robots.txt de um site. Insira a raiz do site ou um URL robots.txt e ele busca o arquivo, analisa as regras e mostra as diretivas Permitir / Proibir agrupadas por agente do usuário, quaisquer mapas de site declarados como links e qualquer atraso de rastreamento. Você também pode testar um caminho específico (e um agente de usuário opcional) para ver se ele seria permitido ou não, usando regras de correspondência mais longa no estilo do Google. Somente o URL inserido é obtido pelo nosso servidor — necessário para contornar as restrições CORS do navegador.
Como usar
- Insira a raiz do site (por exemplo, https://example.com) ou um URL robots.txt. Para a raiz do site, adicionamos /robots.txt automaticamente.
- Pressione “Verificar robots.txt” para buscá-lo e analisá-lo.
- Revise as regras agrupadas por User-agent e os sitemaps declarados. Opcionalmente, digite um caminho (e agente do usuário) para testar se é permitido ou não permitido.
Casos de uso comuns
- Confirmar que uma página importante não foi bloqueada acidentalmente para rastreamento.
- Verificar se um URL específico é permitido ou não para o Googlebot.
- Verificando se o seu sitemap está declarado em robots.txt.
