Hai aperto Google Search Console. Hai davanti il rapporto sulle pagine. Alcune sono indicizzate, altre no, e non capisci perché. Il sito funziona, i contenuti ci sono, eppure Google sembra ignorare esattamente le pagine su cui hai lavorato di più.
Il problema, quasi sempre, non è il contenuto. È che non hai il controllo su come Google naviga il tuo sito: cosa scansiona, con quale frequenza, cosa esclude e perché.
Il Google Crawl è il processo con cui Googlebot, il crawler di Google, esplora il web seguendo i link da una pagina all’altra per scoprire contenuti da portare nell’indice. Senza scansione non c’è indicizzazione, senza indicizzazione non c’è posizionamento. È la base di tutto, ma è anche la parte gestita peggio.
In questo articolo ti spiego come funziona il crawling di Google, cosa influenza il budget di scansione e quali errori concreti impediscono alle tue pagine migliori di essere trovate.
Cos’è il Google Crawl e perché è fondamentale per la SEO
Il Google Crawl è il processo automatico con cui Googlebot visita le pagine web, segue i link e raccoglie informazioni per aggiornarle nell’indice. Senza crawl, una pagina non esiste per Google, indipendentemente da quanto sia ben scritta o ottimizzata.
L’impatto pratico è diretto: se Googlebot non raggiunge una pagina, quella pagina non compare nei risultati di ricerca. Non è una questione di qualità del contenuto, ma di accessibilità tecnica. Puoi avere il miglior articolo del settore, ma se il crawler non lo trova, non ti serve a nulla.
Cosa sono i crawler di Google?
I crawler di Google sono programmi automatici che navigano il web seguendo i link, raccogliendo dati sulle pagine per aggiornarle nell’indice. Il principale si chiama Googlebot, ma non è l’unico.
Google usa diversi crawler specializzati in base al tipo di contenuto:
- Googlebot Smartphone: scansiona le pagine come farebbe un utente mobile, ed è quello che conta di più per il ranking, data la priorità mobile-first di Google
- Googlebot Image: dedicato alle immagini
- Googlebot Video: per i contenuti video
- Google AdsBot: per la qualità degli annunci
Google non è l’unico a far girare crawler sul web. Bing ha il proprio (Bingbot), e strumenti come Semrush e Ahrefs usano i loro spider per raccogliere dati SEO. La logica di fondo è la stessa, ma quello che conta per il tuo posizionamento è quasi sempre Googlebot Smartphone.
Cosa significa web crawling?
Il web crawling è il processo automatico con cui un bot parte da un insieme di URL, segue i link presenti in quelle pagine e raccoglie informazioni su ogni pagina visitata. È così che funziona la scoperta dei contenuti su internet, da decenni.
Per la SEO, questo significa una cosa molto concreta: ogni link che costruisci dentro il tuo sito è un invito per Googlebot. Se una pagina non riceve link interni, il crawler potrebbe non trovarla mai, o trovarla con ritardo.
La struttura del sito non è una formalità tecnica. È la mappa che il bot segue.
Come funziona il processo di crawling di Google
Il crawling segue un ciclo in cinque fasi che si ripete continuamente. Conoscerlo aiuta a capire dove intervenire quando qualcosa non funziona.
- Scoperta: Googlebot trova un URL tramite link da una pagina già conosciuta, da una sitemap XML o da una segnalazione diretta in Google Search Console
- Scansione: il bot visita la pagina, legge il codice HTML, raccoglie testo, link, metadati e segnali tecnici
- Elaborazione: Google analizza il contenuto, valuta la qualità e decide se la pagina merita di essere inserita o aggiornata nell’indice
- Indicizzazione: se la pagina supera la valutazione, entra nell’indice e diventa candidata a comparire nei risultati di ricerca
- Ripetizione: il ciclo si ripete periodicamente per aggiornare le informazioni già indicizzate
Cosa succede dopo che Googlebot visita una pagina
Visitare una pagina non garantisce che venga indicizzata. Dopo la scansione, Google assegna a ogni URL uno stato. I principali che trovi in Google Search Console sono:
- Indicizzata: la pagina è nell’indice ed è candidata al posizionamento
- Scansionata, non indicizzata: Googlebot l’ha visitata ma ha scelto di non includerla (contenuto duplicato, bassa qualità, segnali di esclusione)
- Rilevata, non scansionata: Google sa che esiste ma non l’ha ancora visitata, spesso per limiti di budget di scansione
- Esclusa da tag noindex: la pagina ha un’istruzione esplicita che blocca l’indicizzazione
- Bloccata da robots.txt: il bot non è autorizzato ad accedere alla pagina
Capire in quale stato si trovano le tue pagine strategiche è il primo passo di qualsiasi audit tecnico. È anche il primo dato che guardo quando prendo in carico un nuovo sito.
Quali segnali influenzano la frequenza di crawl
Googlebot non visita tutti i siti con la stessa frequenza. Ci sono fattori che lo attraggono o lo rallentano:
- Autorità del dominio: siti con più backlink di qualità vengono scansionati più spesso
- Velocità di caricamento: pagine lente consumano più risorse al crawler, che riduce la frequenza
- Aggiornamento dei contenuti: siti che pubblicano o modificano contenuti regolarmente vengono rivisitati con più frequenza
- Link interni: una struttura di linking chiara aiuta il bot a scoprire più pagine in meno passaggi
- Errori tecnici: redirect chain, errori 404 e pagine rotte segnalano un sito poco curato
Cos’è un crawler?
Un crawler, detto anche spider o bot, è un software automatico che visita pagine web in modo sistematico per raccogliere informazioni. Funziona come un lettore instancabile: apre una pagina, legge tutti i link presenti e li aggiunge alla lista delle prossime visite.
La parola “spider” rende bene l’idea: il crawler si muove lungo i fili della ragnatela del web, partendo da nodi già conosciuti ed espandendosi verso i nuovi. Google ne fa girare miliardi ogni giorno.
Crawl budget: cos’è e quando devi preoccuparcene
Il crawl budget è il numero di URL che Googlebot scansiona su un sito in un dato periodo di tempo. Google alloca questo budget in base alle risorse disponibili e alla percezione di qualità e autorità del sito.
Per la maggior parte dei siti piccoli o medi, il crawl budget non è un problema: Google riesce a scansionare tutto senza difficoltà. Il tema diventa rilevante quando hai a che fare con siti con migliaia di URL, e-commerce con parametri di filtro, siti con molte pagine duplicate o con URL generati dinamicamente.
Uno studio legale con 50 pagine non deve preoccuparsi del crawl budget. Un e-commerce con 80.000 SKU e filtri di categoria che generano URL parametrici, sì.
Come verificare il crawl budget con Google Search Console
Il rapporto che ti serve si chiama Statistiche di scansione, disponibile in Search Console sotto la voce “Impostazioni”. Per leggerlo nel modo utile:
- Accedi a Google Search Console e seleziona la proprietà
- Vai su Impostazioni (in basso a sinistra nel menu)
- Clicca su Statistiche di scansione
- Guarda il grafico delle richieste di scansione nel tempo: picchi anomali o crolli bruschi indicano problemi
- Controlla i codici di risposta: una percentuale alta di errori 404 o redirect consuma budget senza produrre indicizzazioni utili
- Analizza i tipi di file scansionati: se Googlebot spreca risorse su CSS, JavaScript o risorse statiche non rilevanti, c’è spazio per ottimizzare
Quello che vedo spesso in questi rapporti è un sito in cui il 30-40% delle scansioni riguarda URL inutili: pagine di ricerca interna, filtri prodotto con parametri, pagine di tag o archivi vuoti. Quel budget potrebbe andare sulle pagine che contano davvero.
Come ottimizzare il crawl budget in modo pratico
Ottimizzare il budget di scansione significa eliminare gli sprechi e dare a Googlebot un percorso più pulito. Le azioni sono ordinate dalla più impattante:
- Blocca gli URL inutili via robots.txt: parametri di filtro, URL di sessione, pagine di ricerca interna. Se non vuoi che vengano indicizzate, non lasciare che vengano nemmeno scansionate
- Riduci i redirect: ogni redirect è un passaggio in più per il bot. Le redirect chain (A → B → C) consumano budget e diluiscono l’autorità
- Elimina le pagine duplicate: contenuti identici o quasi identici su URL diversi fanno perdere al bot tempo prezioso
- Migliora il link interno: le pagine senza link interni vengono raggiunte tardi o mai. Lavora sulla struttura del sito per dare visibilità alle pagine strategiche
- Aggiorna la sitemap XML: tieni la sitemap allineata con le pagine effettivamente indicizzabili. Una sitemap con URL bloccati da robots.txt o con tag noindex è un segnale di disorganizzazione
Errori comuni che sprecano il tuo budget di scansione
Questi sono i casi che ritrovo più spesso in un audit tecnico su siti con problemi di indicizzazione:
- Parametri URL negli e-commerce: ogni combinazione di filtro (colore, taglia, prezzo) genera un URL diverso con contenuto quasi identico. Risultato: migliaia di pagine che Googlebot visita inutilmente
- Redirect chain non risolte: un URL che ha cambiato indirizzo due o tre volte genera una catena di redirect che rallenta il crawl e disperde l’autorità dei link
- Contenuti duplicati su HTTP e HTTPS: se il sito è accessibile su entrambi i protocolli senza redirect, Googlebot vede due versioni di ogni pagina
- Pagine orfane: pagine create nel tempo, mai linkate dal resto del sito, che Googlebot non riesce a raggiungere tramite navigazione normale
- Link interni verso pagine 404: ogni errore è un vicolo cieco per il bot, che spreca una scansione senza produrre nessun risultato utile
Ho lavorato su un e-commerce B2B nel settore degli utensili industriali che aveva esattamente questo problema: i filtri di categoria generavano migliaia di URL parametrici, tutti scansionati, nessuno utile. Dopo aver bloccato quei parametri via robots.txt e ripulito la sitemap, il traffico organico è cresciuto del 42% in sei mesi.
Il contenuto non era cambiato. Era cambiato quello che Googlebot considerava degno di attenzione.
La lezione è questa: non basta avere buone pagine. Devi fare in modo che Google spenda il suo tempo su quelle buone pagine, non sulle centinaia di varianti inutili che il sistema genera automaticamente. Il crawl budget non è un dettaglio tecnico da delegare: è una scelta strategica su cosa vuoi che Google veda.
Vuoi sapere se Google sta scansionando il tuo sito nel modo giusto? Richiedi un’analisi SEO gratuita.
Se quello che hai letto ti risuona, fammi sapere su cosa stai lavorando.
Contattami
Autore
Adriana Longhitano
SEO Specialist con oltre 8 anni di esperienza. Progetto strategie di visibilità organica per aziende e professionisti che vogliono essere trovati — su Google e nei sistemi AI. Specializzata in GEO (Generative Engine Optimization), SEO tecnica e architettura dell’informazione.
