Analisi del robots.txt con Screaming Frog
Come spiegato ampiamente nel corso SEO, gli spider dei motori di ricerca recepiscono le istruzioni fornite dal proprietario del sito su quello che possono e quello che non possono fare durante il processo di esplorazione e scansione delle pagine del sito.
Queste direttive vengono fornite tramite:
- il file robots.txt
- i meta tag robots
- l'attributo rel="nofollow" all'interno dei link.
Screaming Frog, un software SEO desktop pensato per il lavoro di SEO Auditing, permette di analizzare e verificare la correttezza delle direttive robots. Si tratta di un aspetto decisamente importante perché va a influenzare il processo di crawling e di indicizzazione delle pagine.
In questo tutorial vediamo come analizzare con Screaming Frog le direttive fornite ai motori di ricerca tramite il file robots.txt.
Effettuato il crawling del sito, nella colonna Status del tab Internal possono essere indicati degli URL con stato indicante Blocked by robots.txt. Sono risorse (pagine, file CSS o JS, immagini, ecc) che lo spider ha incontrato ma che non ha scansionato per un divieto presente appunto nel file robots.txt.
Per vedere nell'elenco degli URL esplorati solo quelli bloccati con il file robots.txt seleziona il tab Response Code e quindi applica il filtro Blocked by Robots.txt.
Nella colonna accanto puoi conosce la linea della direttiva nel file robots.txt responsabile del divieto.
Per vedere rapidamente il file robots.txt clicca con il tasto dx del mouse sul singolo URL e quindi seleziona Open robots.txt.
Hai inoltre la possibilità di esportare in un file CSV l'elenco completo di tutti gli URL bloccati accedendo su Bulk Export / Response Code / Blocked by Robots.txt Inlinks.
Oltre a questo report, che già ti può dare indicazioni su errori presenti nel file robots, Screaming Frog mette a disposizione un test di questo file.
Accedi su Configuration / robots.txt / Custom.
Aggiungi l'URL del sito.
Screaming Frog ti mostra - se ovviamente presente - il file robots.txt.
Nel campo in basso inserisci il percorso da analizzare per comprendere se è bloccato o meno, cliccando poi sul pulsante Test.
Se risulta bloccato ti indica qual è la direttiva specifica.
Le modifiche che apporti in questa finestra non hanno effetti sul file robots.txt reale. Se vuoi infatti modificare delle direttive a seguito delle analisi e dei test devi farlo sul file robots.txt presente effettivamente sul server.
