Come spiegato ampiamente nel corso SEO, gli spider dei motori di ricerca recepiscono le istruzioni fornite dal proprietario del sito su quello che possono e quello che non possono fare durante il processo di esplorazione e scansione delle pagine del sito.
Queste direttive vengono fornite  tramite:
    • il file robots.txt
    • i meta tag robots
    • l'attributo rel="nofollow" all'interno dei link.
 
Screaming Frog, un software SEO desktop pensato per il lavoro di SEO Auditing, permette di analizzare e verificare la correttezza delle direttive robots. Si tratta di un aspetto decisamente importante  perché va a influenzare il processo di crawling e di indicizzazione delle pagine.
 
In questo tutorial vediamo come analizzare con Screaming Frog le direttive fornite ai motori di ricerca tramite il file robots.txt.
Effettuato il crawling del sito, nella colonna Status del tab Internal possono essere indicati degli URL con stato indicante Blocked by robots.txt. Sono risorse (pagine, file CSS o JS, immagini, ecc) che lo spider ha incontrato ma che non ha scansionato per un divieto presente appunto nel file robots.txt.
 

screaming frog robots.txt

 
Per vedere nell'elenco degli URL esplorati solo quelli bloccati con il file robots.txt seleziona il tab Response Code e quindi applica il filtro Blocked by Robots.txt.
 

screaming frog robots.txt

 
Nella colonna accanto puoi conosce la linea della direttiva nel file robots.txt responsabile del divieto.
 

screaming frog robots.txt

 
Per vedere rapidamente il file robots.txt clicca con il tasto dx del mouse sul singolo URL e quindi seleziona Open robots.txt.
 

screaming frog robots.txt

 
Hai inoltre la possibilità di esportare in un file CSV l'elenco completo di tutti gli URL bloccati accedendo su Bulk Export /  Response Code / Blocked by Robots.txt Inlinks.
 

screaming frog robots.txt

 
Oltre a questo report, che già ti può dare indicazioni su errori presenti nel file robots, Screaming Frog mette a disposizione un test di questo file.
Accedi su Configuration / robots.txt / Custom.
 

screaming frog robots.txt

 
Aggiungi l'URL del sito.
 

screaming frog robots.txt

 
Screaming Frog ti mostra - se ovviamente presente - il file robots.txt.
Nel campo in basso inserisci il percorso da analizzare per comprendere se è bloccato o meno, cliccando poi sul pulsante Test.
 

screaming frog robots.txt

 
Se risulta bloccato ti indica qual è la direttiva specifica.
 

screaming frog robots.txt

 
Le modifiche che apporti in questa finestra non hanno effetti sul file robots.txt reale. Se vuoi infatti modificare delle direttive a seguito delle analisi e dei test devi farlo sul file robots.txt presente effettivamente sul server.
   
promo back to school