Abbiamo visto in una lezione ABC cos'è il file robots.txt e quali sono le istruzioni che possiamo dare agli spider dei motori di ricerca.

Una volta scritto o modificato il file robots.txt è importante verificare che non vi siano errori. Un'istruzione errata potrebbe ad esempio impedire l'accesso a determinati contenuti agli spider, con la conseguente impossibilità di una loro indicizzazione.

Per testare il file robots.txt possiamo utilizzare il Tester dei file robots.txt di Google Search Console. Questo servizio ci permette di analizzare il file dal punto di vista degli spider di Google (Googlebot, Googlebot-Image, ecc).

Accediamo alla sezione Scansione Tester dei file robots.txt.

Tester robots.txt di Strumenti per Webmaster di Google

Ci compare il file robots.txt del sito, con l'indicazione di eventuali errori di scrittura o avvisi da parte di Google.

Testare errori robots.txt

Nella parte sottostante troviamo lo strumento di test.

Testare file robots.txt Google

Inserendo l'URL e cliccando su "Testa" possiamo testare la risposta dello spider (accesso consentito o accesso bloccato) in merito ad una determinata pagina web o un elemento (immagini, pdf, ecc). È possibile ottenere la risposta sia per lo spider principale (Googlebot) che per gli spider specifici (Googlebot-Image, Googlebot-News, Googlebot-Video, Googlebot-Mobile).

Nell'esempio sottostante verifichiamo se lo spider Googlebot-Image può accedere o meno ad una determinata immagine.

Tester robots.txt di GWT

Come notiamo il tester ci segnala che l'accesso è bloccato, indicandoci anche quale istruzione determina tale blocco.
Questo ci permette, nel caso in cui fosse necessario, di sapere quale istruzione robots occorre modificare (per approfondimenti rimandiamo alla lezione ABC Il file robots.txt).

Se invece l'accesso ad un elemento (in questo esempio un'altra immagine) è consentito, oltre alla segnalazione “Consentito” ci viene indicata l'istruzione robots che determina questa risposta.

Tester dei file robots.txt di Strumenti per Webmaster di Google


Non valida!