Analisi robots con Screaming Frog
Come affrontato nel corso SEO, gli spider dei motori di ricerca recepiscono le istruzioni fornite dal proprietario del sito su quello che possono e quello che non possono fare durante il processo di esplorazione e scansione delle pagine del sito.
Queste direttive vengono fornite tramite:
- il file robots.txt
- i meta tag robots
- l'attributo rel="nofollow" all'interno dei link.
Screaming Frog, un software SEO desktop pensato per il lavoro di SEO Auditing, permette di analizzare e verificare la correttezza delle direttive robots. Si tratta di un aspetto decisamente importante perché va a influenzare il processo di crawling e di indicizzazione delle pagine.
In questo tutorial vediamo come analizzare con Screaming Frog le direttive fornite ai motori di ricerca tramite i meta tag robots o X-Robots e gli attributi rel="nofollow".
Effettuato il crawling del sito, per conoscere le direttive fornite tramite meta robots o X-Robots, vai alla colonna Directives. Qui puoi verificare l'eventuale presenza di istruzioni robots, con i valori index o noindex e follow e nofollow.
Tramite il filtro puoi concentrarti sulle singole direttive, per individuare ad esempio pagine da non indicizzare o pagine con il nofollow, che pertanto non passano valore ad altre pagine tramite i link.
Hai inoltre la possibilità di esportare in un file CSV l'elenco completo di tutti gli URL con determinati meta robots accedendo su Bulk Export / Directives e indicando il tipo di meta robots.
Per quanto riguarda il controllo del follow/nofollow dei singoli URL, selezionando i tab Inlinks e Outlinks del singolo URL puoi conoscere i link in entrata e in uscita dalla pagina e sapere se sono link followed, cioè con valore follow (in questo caso vedrai True), o se al contrario sono nofollowed. Questo sia per i link interni al sito (tab Internal) che per i link esterni (tab External).
Se volessi avere una dato più complessivo puoi effettuare l'esportazione bulk dei link interni in entrata o uscita.
Una volta scaricato il file puoi suddividerlo in colonne e applicare un filtro per vedere ad esempio solo i link nofollowed.
