Come Usare il File Robots.txt di Blogger

Accedendo su Blogger nella sezione Impostazioni > Preferenze di Ricerca > File Robots.txt personalizzato troverete una frase ben evidenziata che vi invita ad utilizzare i robots con cautela perché un uso scorretto potrebbe far sì che il vostro blog sia ignorato dai motori di ricerca. Esso serve per indicare ai motori di ricerca ciò che non si desidera indicizzare, come nel caso di determinate pagine del blog con informazioni personali, riservate o che per qualche altro motivo come ad esempio non rappresentano il tema generale del blog non si vuole promuovere. In questo caso bisogna adottare delle restrizioni. Se seguite la mia spiegazione ed alcuni miei consigli non vi succederà niente di tutto questo.

Prima di effettuare una qualunque personalizzazione vi conviene eseguire il salvataggio di ciò che è contenuto nel file robot.txt standard incollando quel poco che è presente al suo interno su un documento di testo. Per vedere quello che c'è e salvarlo dovrete aprire una nuova scheda del browser ed aggiungere all'url dell'homepage del vostro blog /robots.txt ed aprire questa pagina.

Nel caso di un blog gratuito il formato del link è il seguente:
http://nomeblog.blogspot.com/robots.txt

Nel caso di un dominio personalizzato il link da incollare è di questo tipo:
http://nomeblog.com/robots.txt

Ovviamente dovete sostituire alla parola nomeblog quello del vostro blog. Ad esempio questo è il file robots di Scuolissima:

Adesso che avete capito a cosa serve ed avete anche salvato cosa era presente in precedenza, ritornate sul Robots.txt e cliccate su Modifica, poi alla domanda Abilitare contenuti del file robots.txt personalizzato? rispondete spuntando la risposta Si. Si aprirà uno spazio bianco in cui dovete incollare ciò che era presente in precedenza, nel mio caso ho incollato questo:

All'interno del file robots.txt potete inserire fino ad un massimo di 10.000 caratteri che sono molti per le poche cose che si possono fare. Di norma è bene lasciare tutto per com'è in quanto i creatori di Blogger cercano di dare il meglio sull'aspetto SEO per i propri blog ma chi vuole provare ed è cosciente di ciò che fa può utilizzarlo per alcuni scopi limitati.

Se si vuole ad esempio bloccare l'indicizzazione di tutte le immagini dovete inserire queste due righe:

User-agent: Googlebot-Image
Disallow: /

Se volete togliere l'indicizzazione di una pagina del blog o di un articolo dovete inserire questi codici prima di Allow: / :

Disallow: /2012/06/titolo-post1.html
Disallow: /p/nome-pagina1.html

Che però dipendono dal nome che avete dato al vostro articolo e alla vostra pagina. Difatti negli articoli altre al nome dovete cambiare anche la data.

Oppure se volete potete caricare la sitemap del vostro blog direttamente nel file robots senza andare su Google Webmaster Tools, quello che dovete fare è incollare questo codice:

Sitemap: http://nomeblog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://nomeblog.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=500

Al posto di nomeblog inserite quello del vostro blog e se avete acquistato il dominio allora dovete togliere la parola .blogspot inoltre siccome la sitemap di blogger è suddivisa ogni 500 articoli, dovrete inserire una nuova riga simile a quella precedente, ad esempio nella prima c'è index=1 e gli articoli si indicizzano fino a 500, nella seconda c'è index=501 e gli articoli si indicizzano fino a 1000 e così via. Alle prossime sitemap dovete inserire 1501, 2001, 2501 ecc.

LEGGI ANCHE: Come inviare la sitemap per blogger con Google Webmaster