Google si serve di Boot e Spider per passare ai raggi X il nostro sito ma, per svolgere al meglio il suo compito, ci chiede un aiuto mettendoci degli strumenti a disposizione: robots txt e sitemap xml.
La Google Search Console (Google web master tool per intenderci) è un servizio gratuito messo a disposizione da Google per aiutarti ad indicizzare meglio il sito.
Ecco un tutorial, dello stesso Google, che aiuterà passo passo a capire come funziona
Per guide più approfondite cerca in rete, ne troverai migliaia (non esagero)!
Il nostro compito all’interno della Search Console sarà trasmettere i dati in modo corretto, con particolare riferimento a due componenti: il robot.txt e la sitemap.xml.
Il robots txt
Ammettiamolo!
Facciamo di tutto per offrire una UX (User Experience) migliorata per i nostri visitatori: il giusto font, la giusta immagine per catturare la sua attenzione, la scelta del colore, la collocazione degli elementi nel template…
E questo è giustissimo!
Ma ci siamo mai chiesti come i motori di ricerca vedono il nostro sito?
È semplice da capire ma molti proprietari di siti web fanno orecchie da mercante…
Se Google non capisce la tua pagina non la inserirà nel suo ranking.
Google ha bisogno che tutta l’intera pagina possa essere scansionata e che nessun elemento contenuto in essa sia assolutamente bloccato.
I webmaster e gli amministratori di sistema hanno la possibilità di indicare agli spider quali file del sito non devono essere esaminati attraverso la compilazione di un normale file di testo contenente delle regole precise chiamato robots txt
L’errata compilazione di questo file blocca gli spider ed esclude intere parti del sito.
Per prima cosa testa il tuo robots txt
Inserire nel proprio robot.txt poche righe di testo equivale a “comandare” gli spider facendogli compiere determinate azioni.
Se ad esempio volessimo ottimizzare il nostro robots.txt per wordpress una possibile soluzione potrebbe essere:
User-agent: Mediapartners-Google* Disallow: Disallow: /wp- Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Allow: /wp-content/uploads Sitemap: http//tuoURL/sitemap.xml (attenzione è solo di un esempio, il codice va visto caso per caso)
In pratica con il comando Allow indica al Bot che ha accesso a determinati file contenuti in determinate cartelle, mentre con il comando Disallow si impedisce allo spider la visualizzazione e questi contenuti non saranno indicizzati.
Il comando Sitemap indica la posizione del file sitemap.xml all’interno del tuo sito, mentre il primo comando User-agent, nel nostro caso abbiamo utilizzato User-agent: Mediapartners-Google*, indica quali sono i Boot a cui diamo accesso.
Ripeto quello fornito è solo un esempio che potrebbe essere arricchito all’infinito…
User-agent: * (Vogliamo che qualsiasi tipo di robot scansioni il nostro sito) Disallow: /wp- Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Allow: /wp-content/uploads/
Comprendere questo significa capire come gli spider di Google e di altri motori di ricerca vedono i nostri siti e come possiamo realmente aiutarli.
Spesso siamo convinti, soprattutto se siamo alla prime armi, di aver fatto tutto a regola d’arte.
Ecco un generatore online che può esserti molto utile.
La sitemap di un sito web
Considera di avere un libro tra le mani con tante pagine.
Queste pagine hanno dei capitoli.
Questi capitoli partono da pagine numerate all’interno del libro stesso.
I capitoli sono riportati all’inizio del libro con il relativo numero di pagina sotto forma di indice per aiutare il lettore a cercare quello che gli interessa.
Non solo… spesso troviamo alla fine dei nostri libri indici analitici che indicano dei termini e dove cercarli all’interno del libro.
Una sitemap può essere considerata proprio questo: l’indice che aiuta Google (e gli altri motori di ricerca) a comprendere com’è strutturato il nostro sito web e quali sono i collegamenti attivi tra le pagine.
Un tempo erano molto in voga le sitemap html.
Erano delle pagine web che indicavano all’utente in modo grafico, spesso con una struttura ad albero, com’era effettivamente strutturato il sito web.
Google e gli altri motori di ricerca hanno bisogno di un tipo diverso di sitemap: un file xml.
L’ XML (eXtensible Markup Language) è un metalinguaggio per la definizione di linguaggi di markup.
Naturalmente non serve conoscere l’XML per creare la sitemap da trasmettere a Google, esistono già dei tools online che permettono di farlo.
Tra questi ricordiamo, per wordpress, SEO by Yoast , plugin che, una volta montato, genera la sitemap del sito in automatico fornendo il link.
Non faremo nient’altro che copiarlo e incollarlo nella Google Search Console.
Ogni volta che pubblicheremo una nuova pagina o un nuovo articolo, il plugin rigenererà la sitemap e Google avrà materiale fresco.
Se non utilizzi wordpress cerca il plugin SEO più adatto al tuo CMS.
Esistono vari tool online che permettono di creare la sitemap.xml del sito.
Riporto alcuni indirizzi:
Nonché riporto le linee guida di google per approfondire l’argomento
Solo registrando il sito su Google Search Console possiamo capire realmente quello che sta succedendo e, la comoda funzione contenuta nel Google Webmaster Tools, ci farà vedere il sito come realmente Google lo vede (e non come pensiamo lui lo veda)…
Senza codici di stile, senza java, senza Iframe ecc. ecc.
Robots e Sitemap
Ovviamente questa è una guida molto basilare per iniziare a comprendere quello che si nasconde dietro alla struttura dei siti web online.
Quando si parla di “lanciare il sito”, tra i tanti processi da eseguire, certamente creare un file robots adatto e trasmettere la sitemap aiuta il tuo sito ad essere indicizzato meglio e più velocemente.
Nella nostra esperienza ci è spesso capitato di dover operare su siti web, anche online da molto tempo, che non “rankavano” perché avevano problemi abbastanza gravi proprio su questi componenti fondamentali.
Sì, esatto, affidarsi al cug(g)ino non sempre paga.
Vuoi che il tuo sito web sia bello, performante e soprattutto funzionale?
Affidalo a noi e lo vedrai volare.
Fissa ora la tua Call Gratuita!
insieme possiamo crescere.
0 commenti