Problemi SEO: il crawl rate di googlebot quando si passa ad un CDN

Cos’è un CDN (Content Delivery Network)?

CDN è una rete di server distribuiti in vari data center in giro per il mondo. I dati del sito che utilizza un CDN vengono in pratica copiati su tutta la rete di server e restituiti in modo mirato a chi li richiede. L’utilità di questo tipo di network è che permette di fornire all’utente finale i contenuti dal nodo più vicino a chi effettua la richiesta.

Molte aziende forniscono questo servizio, alcune molto note sono ad esempio CloudFlare, Maxcdn, Keycdn…Le opzioni sono tante ed anche le fasce di prezzo.

CDN e SEO

In generale, passare ad un CDN è una operazione relativamente semplice ma anche un po’ delicata. Lato SEO, i benefici di questa scelta sono intuitivi.
La qualità delle performance di un sito internet è, come è noto, uno dei fattori di posizionamento dei siti internet. Un CDN permette di ridurre i tempi di risposta, può quindi essere molto utile, soprattutto in alcuni casi.

Un esempio tipico è quello dei siti multilingua, o in generale dei siti che intendono attirare un traffico internazionale. Non raramente questi siti web hanno dei tempi di risposta non eccellenti nelle zone più distanti dal luogo fisico in cui è ‘hostato’ il sito web. In questi casi il CDN permette di diminuire notevolmente i tempi di caricamento delle pagine.

Questo probabilmente il beneficio maggiore da un punto di vista SEO. E tuttavia vi sono anche delle difficoltà di cui una, già nota da tempo, è difficilmente evitabile sia per i SEO che per gli sviluppatori.

Come è umano questo bot di Google

La frequenza e la velocità di scansione delle pagine del sito internet che implementa il CDN possono subire dei notevoli cambiamenti e, nella prima fase, peggiorare.
Una ufficiale conferma di questa possibile problematica è arrivata a fine giugno su Twitter da parte di Gary Illyes di Google:

If you switch to a cdn and your crawl rate drops, contact the googlebot team via the form in the crawl rate feature pic.twitter.com/cah8GpxxEL

— Gary Illyes (@methode) 13 giugno 2016

[Per chi se lo stesse chiedendo, l’animale allegato da Illyes è un ‘wallaby’, un canguro di piccole dimensioni. A Google hanno questa fissa per gli animali esotici…]

Nel caso di problematiche relative al crawl budget dopo l’implementazione del CDN, Illyes consiglia di contattare il team di googlebot (dal form apposito nella Search Console, l’ex Webmaster Tool).

Un utente ha risposto al tweet di Illyes chiedendo come mai Google potrebbe avere dei problemi di questo tipo, ecco la risposta:

@SpecDigitalMkt need to relearn how much can we crawl and that takes time

— Gary Illyes (@methode) 15 giugno 2016

Google ha bisogno di imparare nuovamente quanto scansionare del sito, e questo richiede del tempo.
La risposta è certo molto comprensibile, anche se potrebbe far storcere un po’ il naso ai più tecnici. Reimparare? Non stavamo parlando di robot?