Cos’è il Crawl Budget e come aumentarlo

crawl-budget

Nell’articolo “Come aggiungere il nofollow al menu di un sito WordPress“, abbiamo accennato al Crawl Budget. Lo abbiamo fatto mentre spiegavamo il perché fosse utile inserire l’attributo nofollow al menu. Ora è venuto il momento di approfondire, andando a vedere cos’è il crawl budget e come si determina.

In quell’articolo abbiamo specificato che l’attributo nofollow, applicato ai link del menu e in generale a tutti i link interni del sito, non impedisce la distribuzione della Link Juice a tutte le pagine linkate e, per questo, l’autorevolezza della pagina d’origine viene ad esse equamente distribuita.

Abbiamo spiegato che l’attributo nofollow applicato ai link in uscita, ci permette di stabilire una gerarchia tra le pagine del sito, aiutando così Google a capire quali sono le pagine da tenere in maggior considerazione rispetto alle altre. Abbiamo fatto l’esempio di un menu con 5 voci: Home, Chi Siamo, Prodotti, Offerte e Contatti. Mettendo il nofollow ai link che portano alle pagine “Chi Siamo” e “Contatti”, abbiamo detto a Google che le pagine “Prodotti” e “Offerte” sono più importanti.

In gergo tecnico abbiamo ottimizzato il Crawl Budget a disposizione del nostro sito.

Per capire meglio andiamo a spiegare cos’è il crawl budget.

COS’È IL CRAWL BUDGET

Il crawl budget è una sorta di punteggio che Google assegna ad un sito. Questo valore viene determinato in base al numero di pagine scansionate giornalmente dal suo crawler (spider o come volete chiamarlo) e dalla velocità con cui le scansiona (velocità di scaricamento).

Più sono le pagine scansionate giornalmente, maggiore sarà il crawl budget che il motore di ricerca ci assegnerà. Meno tempo le pagine richiederanno per essere scansionate dal crawler , maggiore sarà il crawl budget ottenuto (e questa è un’ottima ragione per curare la page speed).

Quando il crawler di Google scansiona e scarica con frequenza giornaliera le pagine di un sito, vuol dire che lo ritiene autorevole. E autorevolezza fa rima con posizionamento.

 

scansione-crawler-di-google

Come potete vedere dall’immagine sopra, vi sono 3 grafici nella sezione “Statistiche di Scansione” (crawl-stats) della Search Console di Google. In questi 3 grafici sono racchiuse le attività del crawler sul nostro sito. Come interpretarli?

COME LEGGERE LE STATISTICHE DI SCANSIONE DELLA SEARCH CONSOLE

Il grafico Blu: Il primo, quello blu, indica quanto spesso le pagine vengono scansionate da Google. Quando questo grafico ha un trend in salita, vuol dire che viene scansionato frequentemente perché viene ritenuto una buona risorsa. I picchi che si evidenziano (deep crawl), possono essere dovuti a varie cause: generazione dinamica di pagine, sito messo sotto osservazione da google, modifiche sostanziali effettuate al sito, ecc…

I grafici Rosso e Verde: Questi due grafici hanno a che fare con la velocità di scaricamento delle pagine del sito. Questi due grafici dovrebbero tendere verso il basso, il che starebbe a significare che il web server da buoni tempi di risposta e che le pagine del sito sono leggere e veloci da caricare.

COME È POSSIBILE AUMENTARE IL CRAWL BUDGET DI UN SITO?

È possibile aumentare il crawl budget di un sito web? La risposta è si. Come fare per aumentare il crawl budget di un sito? Bisogna andare a curare alcuni aspetti che andiamo ad esaminare di seguito.

I LINK

Spiegandolo molto semplicisticamente, se il nostro sito viene linkato da altri siti, Google gli attribuirà maggiore autorevolezza. Quindi il crawl budget che potremmo ottenere sarà maggiore.

Attenzione però. I link in entrata non sono tutti uguali. Alcuni passano maggior trust, altri ne passano meno, altri ancora possono essere dannosi. Siccome questo non è l’argomento topic dell’articolo, se vuoi approfondire ti invito a leggere il post dove spiego come scelgo i siti per cercare di ottenere link in entrata.

LA PAGE SPEED

Altro fattore che aiuta ad aumentare il crawl budget di un sito è, manco a dirlo, l’ottimizzazione della velocità di caricamento delle pagine. Più una pagina si carica velocemente, minore sarà il tempo che il crawler impiegherà per scaricarla. E questo, come detto, è  uno degli elementi che determina quanto crawl budget viene messo a disposizione della vostra pagina.

Google fornisce lo strumento per testarla. Basta inserire la url della pagina che volete sottoporre al page speed test e saprete quanto tempo ci vuole a caricare quella pagina. Inoltre potrete sapere anche dove mettere le mani per aumentarne la velocità di caricamento.

L’AGGIORNAMENTO FREQUENTE DEI CONTENUTI DEL SITO

In sostanza, se produciamo nuovi contenuti frequentemente, il crawler di Google quando se ne accorge inizierà a passare più spesso e a ridurre i tempi di scansione e, come abbiamo detto prima, minore è il tempo che impiega per la scansione della pagine, maggiore sarà il punteggio (crawl budget) che assegnerà al sito.

LA SCELTA DELL’HOSTING

Sempre in relazione a i tempi di caricamento delle pagine, scegli per il tuo sito un hosting con un webserver che abbia dei tempi di risposta buoni.

IL FILE ROBOTS.TXT

Possiamo pensare anche ad utilizzare il file robots.txt per dire a Google di saltare le pagine che hanno l’attributo noindex e guadagnare in termini di velocità di scansione.

CONCLUSIONI

L’articolo di oggi, spiegando cos’è il Crawl Budget e come funziona, ci fa capire anche il perché alcuni elementi come la page speed, l’aggiornamento dei contenuti ed i link siano così importanti nella determinazione della classifica di Google.

Inoltre, almeno per quel che mi riguarda, apre una riflessione riguardo il perchè Google stia portando avanti una campagna tanto incisiva a favore della velocizzazione dei tempi di caricamento delle pagine (e ci metto dentro anche AMP).

Infatti i siti e le pagine da scansionare ogni giorno dal crawler di google sono sempre di più e le risorse da impiegare per farlo devono essere sempre più potenti e performanti.

Se il crawler si trova a scaricare pagine leggere invece, riesce a scansionarne di più e ad ottimizzare le risorse dei suoi server. Il vantaggio è evidente in termini di performances ed economici.

Quindi pagine leggere e veloci si,  ma non solo per la UX.

Aggiornamento del 19 Dicembre 2016: 4 giorni fa, Gary Illyes Ceo di Google, ha affermato su Twitter che l’ottimizzazzione del Crawl Budget può essere d’aiuto soprattutto ai grandi siti, identificando come grande sito uno che abbia più di centomila pagine.

Eccoa schermata dei tweet.

google-crawl-budget-nofollow-

AGGIORNAMENTO DEL 18 GENNAIO 2017. Google,  per mano di Gary Illyes,  ha pubblicato sul Google Central Blog per Webmaster un articolo sul funzionamento di Googlebot in merito al crawl budget.  L’articolo é davvero interessante e approfondisce l’argomento in maniera illuminante. Per questo ho deciso di riportarne la traduzione nell’articolo “Il crawl budget spiegato da Google”  di cui consiglio vivamente la lettura.

Summary
Cos'è il Crawl Budget di un sito e come aumentarlo
Article Name
Cos'è il Crawl Budget di un sito e come aumentarlo
Description
Cos'è il Crawl Budget assegnato ad un sito da Google? Come viene determinato? E perché è così rilevante ai fini del posizionamento su Google? Cerchiamo di spiegarlo
Author
Publisher Name
www.flavioweb.net
Publisher Logo
About the author

Flavio

Mi trovo nel campo del web dal 2006. Nel tempo mi sono specializzato soprattutto nell'indicizzazione,  nel posizionamento di siti internet e nell'utilizzo dei social media principali a fini di marketing.

Be the first to comment

Leave a comment

Your email address will not be published.


*


*