Cos'è questo controllo robots.txt?
Uno strumento online gratuito per controllare il file robots.txt di un sito. Inserisci la radice del sito o un URL robots.txt e recupera il file, analizza le regole e mostra le direttive Consenti/Disallow raggruppate per agente utente, eventuali mappe del sito dichiarate come collegamenti ed eventuali ritardi di scansione. Puoi anche testare un percorso specifico (e un agente utente facoltativo) per vedere se sarebbe consentito o non consentito, utilizzando le regole di corrispondenza più lunga in stile Google. Solo l'URL inserito viene recuperato dal nostro server: è necessario per aggirare le restrizioni CORS del browser.
Come usarlo
- Inserisci la radice del sito (ad esempio https://example.com) o un URL robots.txt. Per la root del sito, aggiungiamo automaticamente /robots.txt.
- Premi "Controlla robots.txt" per recuperarlo e analizzarlo.
- Esamina le regole raggruppate per User-agent e le sitemap dichiarate. Facoltativamente, digita un percorso (e un agente utente) per verificare se è consentito o non consentito.
Casi d'uso comuni
- Confermare che una pagina importante non venga bloccata accidentalmente dalla scansione.
- Verifica se un URL specifico è consentito o non consentito per Googlebot.
- Verifica che la mappa del tuo sito sia dichiarata in robots.txt.
