Crawler: perché conta per la tua azienda
Un sito cambia anche quando nessuno lo tocca: un plugin si aggiorna, un prodotto esce dal catalogo, un redirect smette di funzionare, un titolo si duplica su cento pagine generate da un template. Nessuno di questi errori si vede a occhio e tutti si vedono in una scansione. Per una PMI il crawler è il controllo di base da pretendere da chi cura il sito: il 72% degli specialisti di SEO tecnica ne usa uno ogni settimana, e i bot delle AI che citano le aziende nelle risposte si comportano allo stesso modo di Googlebot, con un limite in più: la maggior parte non esegue JavaScript.
Un esempio concreto di Crawler
Su un sito da 2.323 pagine che seguiamo, con una pagina per ogni città, la scansione di novembre 2026 ha trovato 7.862 sottotitoli ripetuti da una pagina all'altra perché i template usavano gli stessi titoli di sezione, e 1.933 meta description oltre i 160 caratteri. Nessuno dei due errori era visibile navigando il sito. Sistemati i template e rilanciata la scansione: 15 ripetizioni e zero description lunghe.
Gli errori più comuni con Crawler
- Non scansionare mai il sito e scoprire gli errori da un calo di visite mesi dopo
- Bloccare il crawler per sbaglio con un robots.txt o un firewall lasciato dalla fase di sviluppo
- Contenuti caricati solo da JavaScript, che il crawler e i bot AI non vedono
- Ricevere il report della scansione come PDF e non far correggere niente
Domande frequenti su Crawler
Ogni quanto va scansionato un sito?
Dopo ogni modifica importante e comunque una volta al mese. Per i siti con migliaia di pagine, come cataloghi e portali con pagine locali, conviene una scansione dopo ogni pubblicazione.
Il crawler di Google e quello di uno strumento SEO vedono le stesse cose?
In gran parte sì: entrambi seguono i link e leggono il codice delle pagine. La differenza è che Googlebot decide da solo cosa e quando scansionare, mentre lo strumento scansiona tutto quello che vuoi, quando vuoi, e ti mostra il risultato in una tabella.
