Googlebot non riesce ad accedere ai file CSS e JS

Googlebot non riesce ad accedere ai file CSS e JS

Googlebot non riesce ad accedere ai file CSS e JS su www.nomesito.xx è il messaggio che arriva dalla Search Console di Google sulle email dei proprietari di siti in cui lo spider di questo motore di ricerca non riesce accedere con il suo GoogleBot.

Facciamo prima un ripasso: cos’è Google Bot? Google Bot è il software (tecnicamente chiamato “spider”) di casa Google che ha il compito di andare a scansionare i siti, rilevare se sono state create nuove pagine web e aggiungerle al proprio indice.
Ed ora torniamo al problema del Googlebot che non riesce ad accedere ai file Css e Js…

Può succedere che durante la scansione di un sito web, il Bot di Google rilevi qualche problema. Quando succede questo, il proprietario del sito interessato viene avvisato tramite un’email che notifica il tipo di problema rilevato.

È accaduto nell’Aprile 2015 ad esempio, che Google abbia notificato ai proprietari di alcuni siti internet, il fatto che le loro pagine web non fossero “mobile-friendly” (che non venivano visualizzate correttamente sui dispositivi mobili tipo smartphone). Alla notifica seguiva poi l’invito a risolvere il problema.

In questo fine di luglio 2015 invece, sempre Google, sta notificando ai proprietari di alcuni siti che il proprio spider (Googlebot) non riesce ad accedere ai files css (fogli di stile) e Js (java script). E anche in questo caso li invita a risolvere il problema.

Ma perché risolvere i problemi che Google ci segnala? Potremmo infischiarcene del fatto che Big G non acceda ai fogli di stile?
La risposta è NO ed il motivo sta in un due parole: indicizzazione e posizionamento (del proprio sito).

PERCHÉ GOOGLE BOT HA BISOGNO DI ACCEDERE AI FILES CSS E JS

google-bot

È noto che Google, per determinare la posizione che un sito occupa per una determinata parola chiave, debba prima scansionarlo per poi indicizzarlo. Ergo …Se non lo scansiona non lo indicizza.

È meno noto ai non addetti ai lavori invece, che Google ha chiaramente espresso il desiderio di poter accedere e scansionare tutte le aree del sito e, se questo non avviene, può attribuirgli una posizione meno favorevole rispetto ad un concorrente che invece abbia dato tutti i permessi.

I file css e Java Script, di cui i siti si servono per l’impaginazione, la corretta visualizzazione e per far funzionare correttamente le funzioni implementate, rientrano tra queste aree in cui Google vuole/deve entrare per eseguire la sua scansione.

Ma se Google, ai fini del posizionamento, guarda soprattutto ai contenuti, cosa c’entrano i files css e js? Uno dei principali motivi riguarda la corretta visualizzazione di un sito sui vari tipi di dispositivi, siano essi pc, portatili, tablet o smartphone di qualsiasi dimensione. Google premia, sempre attraverso l’assegnazione di una buona posizione sulle sue pagine di ricerca, i siti che vengono visualizzati correttamente su tutti i tipi di dispositivi. E la visualizzazione viene gestita appunto dai files css e da alcuni files Java Script. Se Google non può verificare la visualizzazione del sito su tutti i dispositivi, avendosi visto negato l’accesso a questi files, ne richiede l’accesso al gestore del sito.

Immaginate Google Bot come un’occhio umano: legge i contenuti, guarda le immagini, guarda il sito su un pc, su un tablet e su uno smartphone. Se legge le stesse cose su ogni tipo di dispositivo e le pagine gli risultano visualizzate correttamente, dice “Il sito è OK” e il vostro ranking aumenta.

Come fa Google Bot ad accedere ai files di un sito?

Google Bot accede e scansiona le pagine di un sito seguendo le direttive di un piccolo file di testo chiamato robots.txt ed inserito nella directory principale. All’interno di questo file vi sono contenute le istruzioni per gli spider dei vari motori di ricerca.

Possiamo consentire l’accesso a tutti gli spider dei vari motori di ricerca (google, yahoo, Bing, ecc…) con l’istruzione:

User-agent: *

Possiamo consentire l’accesso ad ogni file del sito con l’istruzione:

Disallow:

lasciando in bianco dopo i due punti il disallow che vuol dire “non permettere”.

Un file robots.txt che concede l’accesso a tutti i files del proprio sito sarà così scritto:

User-agent: *

Disallow:

GoogleSpiderPer crearlo basta scrivere queste istruzioni sul blocco notes e salvare come robots.txt e poi metterlo al lavoro, caricandolo sulla root del sito. Se il file robots.txt non è presente, gli spider dei vari motori di ricerca considereranno consentito l’accesso ad ogni file del sito.

Se il nostro robots.txt è così costruito non dovremmo aver ricevuto l’avviso di Google che recita  “Googlebot non riesce ad accedere ai file CSS e JS“.

Chi invece utilizza un CMS come core del proprio sito (tipo wordpress, joomla, drupal, ecc…) può aver inibito, attraverso il file robots.txt, l’accesso degli spider su alcuni file e cartelle ed aver quindi ricevuto il messaggio. Come si risolve:

Innanzi tutto scarichiamo dal server del sito il nostro file robots.txt ed apriamolo per vedere quali istruzioni contenga. Dopodiché,  per WordPress consiglio di riscriverlo in questo modo:

User-agent: * (consento l’accesso a tutti i bot)
Disallow: /wp-admin/ (inibisco l’accesso alla cartella admin)
Disallow: /tag/  (timido tentativo di evitare contenuti duplicati inibendo l’accesso ai tag)
Disallow: /category (come sopra applicato alle categorie)
Allow: *.css$ (permetto l’accesso ai files css in qualsiasi posizione si trovino)
Allow: *.js$ (permetto l’accesso ai files JavaScript  in qualsiasi posizione si trovino)
Sitemap: http://www.nomesito.xx/sitemap.xml (dato che ci sono gli segnalo anche la posizione della sitemap)

Per Joomla basta sostituire wp-admin con “administrator”

Per i siti in HTML basterà scrivere solo “User-agent: *” e sulla riga sotto “Disallow:”

Ora, carichiamo il file robots.txt appena creato sul server del sito, andando a sovrascrivere il vecchio. In questo modo abbiamo risolto il problema relativo al messaggio “Googlebot non riesce ad accedere ai file CSS e JS” che ci è arrivato sulla email d aparte di Google Search Console.

VERIFICARE IL FILE ROBOTS.txt

Il prossimo passo è verifcare il file robots.txt su Google Search Console e vedere se abbiamo risolto o se vi sono ancora dei problemi. Colleghiamoci quindi al nostro account della Search Console Google, selezioniamo il sito, espandiamo la voce “Scansione” e clicchiamo su “tester dei file robots.txt“.

In questa pagina vedremo il contenuto del nostro bel file robots.txt. Verifichiamo che sia quello che abbiamo caricato sul server e clicchiamo in basso su “Testa”. Ripetiamo il test anche per il GoogleBot-Mobile. Se abbiamo fatto tutto bene la risultanza sarà una belle scritta “consentito”. Fatto questo clicchiamo su invia, sempre su questa pagina, per inviare a Google il nuovo file robots.txt. Avendo già fatto i cambiamenti sul file clicchiamo direttamente sull’opzione 3 “Invia” per segnalare che un nuovo file robots.txt è stato creato.

VISUALIZZA COME GOOGLE

Ora andiamo ad espandere di nuovo a sinistra la voce “Scansione” e clicchiamo su “Visualizza come Google”. Da qui potremo vedere come Google visualizza il nostro sito e verificare se è allo stesso modo in cui lo fa l’occhio umano.

Clicchiamo quindi sul pulsante “Recupera e Visualizza” e poi inviamo all’indice la pagina home (/) del nostro sito (si intuisce facilmente come farlo). Se utilizziamo WordPress o Joomla ed abbiamo implementato il robots con le istruzioni sopra descritte ci sarà apparsa nella colonna stato la scritta “parziale”. Questo è dovuto al fatto che abbiamo negato l’accesso alla cartella di amministrazione del sito. Va bene così.

Nella finestra di invio selezioniamo  “Esegui la scansione di questo URL e dei relativi link diretti” ed inviamo.

Adesso clicchiamo sulla root (il simbolino slash / ) e controlliamo visivamente come Google vede il nostro sito.

Sotto le 2 anteprime del sito, troveremo l’elenco dei files ancora bloccati e non accessibili dal file robots.txt. Troveremo sicuramente solo files esterni: alcuni riferiti a plugin che attingono il codice dall’esterno del nostro sito  e files riferiti direttamente a risorse esterne di cui abbiamo inserito widget o collegamenti sul nostro sito. Ad esempio i widget di tripadvisor sono una di queste risorse bloccate o non raggiungibili. Niente paura. Non è che possiamo decidere noi se i codici delle risorse esterne, ospitati su altri siti, debbano essere accessibili o no a Google Bot.

Qui termina il lavoro di risoluzione al problema di GoogleBot che non accede ai files Css e Js. Come al solito, un po’ di pazienza e tutto si sistema.

risorse-bloccate

Esempio di risorse bloccate esterne al sito

AD

About the author

Flavio

Mi trovo nel campo del web dal 2006. Nel tempo mi sono specializzato soprattutto nell'indicizzazione,  nel posizionamento di siti internet e nell'utilizzo dei social media principali a fini di marketing.

Be the first to comment

Leave a comment

Your email address will not be published.


*


*