Hai aperto Google Search Console. Hai davanti un elenco di pagine con errori di copertura. Non sai se il problema è il crawling, l’indicizzazione, o qualcos’altro che non riesci a nominare.
Il punto è che Googlebot potrebbe già visitare il tuo sito ogni giorno senza riuscire a capire cosa ci trova. E se non capisce, non indicizza. Se non indicizza, non esisti.
Ho visto succedere questo a siti tecnicamente curati, con contenuti buoni e una struttura logica. Il problema non era la qualità dei testi: era che il bot incontrava ostacoli invisibili durante la scansione, e nessuno se ne accorgeva.
In questo articolo ti spiego come funziona Googlebot, cosa fa concretamente sul tuo sito e quali leve puoi usare per non lasciare nulla al caso.
Che cos’è il bot di Google?
Googlebot è il software automatizzato di Google che scansiona il web per raccogliere informazioni sulle pagine e alimentare l’indice di ricerca. Ogni volta che visita una pagina, legge il contenuto, segue i link interni ed esterni, e porta queste informazioni ai server Google per l’elaborazione.
Non è un singolo bot: è una famiglia di crawler specializzati, ciascuno con uno scopo diverso. Ma il principio è lo stesso per tutti: girare il web, raccogliere dati, restituire segnali a Google.
La scala è difficile da immaginare: Googlebot visita miliardi di pagine ogni giorno, su centinaia di milioni di domini. Il fatto che arrivi anche sul tuo sito non è automaticamente un vantaggio: dipende da quanto riesce a leggere quando arriva.
Che cos’è Googlebot e cosa fa sul tuo sito
Googlebot è il crawler principale di Google, e il suo compito è il crawling: percorrere le pagine del tuo sito seguendo i link, raccogliere l’HTML e il contenuto renderizzato, e passare tutto al sistema di indicizzazione.
Crawling e indicizzazione non sono la stessa cosa. Che Googlebot visiti una pagina non significa che quella pagina finirà nei risultati di ricerca. Sono due fasi distinte, e confonderle è uno degli errori più comuni che vedo in chi lavora sui siti da anni.
Il processo completo ha tre momenti: scoperta della pagina, crawling del contenuto, valutazione per l’indicizzazione. Solo se supera tutte e tre le fasi, una pagina può apparire in SERP.
Come Googlebot scopre le pagine del tuo sito
Googlebot non parte da zero ogni volta. Usa tre canali principali per trovare le pagine da visitare:
- Link interni ed esterni: ogni link che punta a una tua pagina è un invito per il bot. Più una pagina riceve link, più è probabile che venga scoperta e visitata con frequenza.
- Sitemap XML: un file che elenca esplicitamente le pagine che vuoi far scansionare. È il modo più diretto per dire a Google “queste pagine esistono, vai a guardarle”.
- URL submission manuale in Search Console: puoi richiedere la scansione di una pagina specifica attraverso lo strumento Ispezione URL, utile dopo una pubblicazione o una modifica importante.
Differenza tra crawling e indicizzazione
Crawlare significa visitare. Indicizzare significa essere disponibile per le ricerche. Sono due decisioni separate di Google, e non sempre coincidono.
Un esempio concreto: una pagina viene visitata da Googlebot, ma riporta un tag noindex nel codice. Il bot la vede, la legge, poi la ignora consapevolmente. In Search Console comparirà come “esclusa per tag noindex”, non come un errore, ma il risultato pratico è lo stesso: non appare in SERP.
Esistono decine di ragioni per cui una pagina crawlata non viene indicizzata: contenuto duplicato, qualità insufficiente, errori tecnici, segnali di bassa autorevolezza. Il crawling è il prerequisito, non la garanzia.
Come Googlebot legge e interpreta il contenuto
Quando Googlebot arriva su una pagina, legge prima l’HTML puro. Vede il testo, i link, gli attributi alt delle immagini, i tag semantici. Questa fase è rapida e stabile.
Il problema nasce con JavaScript. Se il tuo sito usa framework come React, Vue o Angular per renderizzare i contenuti, Googlebot potrebbe non vedere nulla alla prima visita: il contenuto viene caricato dinamicamente, e il bot non aspetta.
Google ha introdotto il rendering differito (second wave of indexing) per gestire questo: prima indicizza l’HTML, poi torna per renderizzare il JavaScript. Ma “torna” può significare ore, giorni, o in alcuni casi settimane. Nel frattempo, la pagina è parzialmente invisibile.
Googlebot e JavaScript: cosa riesce davvero a vedere
Il rendering differito funziona, ma non è senza costi. Ho lavorato con siti in cui interi blocchi di contenuto erano invisibili a Googlebot perché caricati via JavaScript senza fallback HTML.
Un errore frequente che emerge in Search Console: la pagina viene scansionata, ma l’anteprima del rendering mostra solo la struttura vuota del layout, senza testo. Il contenuto c’era, ma il bot non era riuscito a vederlo.
La soluzione non è sempre eliminare JavaScript. È assicurarsi che i contenuti critici, testo, heading e link interni, siano disponibili nell’HTML di base. Il SSR (server-side rendering) o l’uso di un pre-renderer dedicato sono le opzioni più solide per siti con framework JS pesanti.
Cosa sono gli spider di Google e come si differenziano
Non esiste un solo Googlebot. Esiste una famiglia di crawler, ciascuno con un compito specifico. Conoscerli serve a capire quale user-agent stai vedendo nei log del server e cosa sta cercando.
Ecco i principali, con le differenze che contano in pratica:
| Bot | Scopo | User-agent |
|---|---|---|
| Googlebot Smartphone | Crawling principale (mobile-first) | Mozilla/5.0 (Linux; Android 6.0; Nexus 5…) Googlebot/2.1 |
| Googlebot Desktop | Crawling secondario, versione desktop | Mozilla/5.0 (compatible; Googlebot/2.1) |
| AdsBot Mobile | Qualità landing page Google Ads (mobile) | AdsBot-Google-Mobile |
| AdsBot | Qualità landing page Google Ads (desktop) | AdsBot-Google |
| Googlebot Image | Scansione immagini per Google Immagini | Googlebot-Image/1.0 |
| Google-InspectionTool | Ispezione manuale da Search Console | Google-InspectionTool/1.0 |
Il crawler principale oggi è Googlebot Smartphone: Google usa il mobile-first indexing, il che significa che il contenuto visibile su mobile è quello che conta per l’indicizzazione. Se la versione mobile del tuo sito ha meno contenuto di quella desktop, quello è il contenuto che viene valutato. Non la versione che hai curato di più.
Crawler Google SEO: come ottimizzare il crawl budget
Il crawl budget è la quantità di pagine che Googlebot è disposto a scansionare sul tuo sito in un determinato intervallo di tempo. Per i siti piccoli con poche pagine di qualità, non è quasi mai un problema.
Diventa un problema quando il sito ha centinaia o migliaia di URL inutili che consumano il budget senza portare valore: pagine filtro degli e-commerce, URL con parametri, pagine di staging indicizzate per errore, redirect chain lunghe.
Se sprechi crawl budget su pagine che non contano, Googlebot dedica meno risorse a quelle che contano davvero. Il risultato è ritardo nell’indicizzazione dei contenuti nuovi e segnali disordinati sull’architettura del sito.
Le azioni pratiche per ottimizzare il crawl budget:
robots.txt: blocca le sezioni che non vuoi far scansionare (aree di amministrazione, pagine di ricerca interna, duplicati prevedibili). Non è uno strumento per nascondere contenuti: è uno strumento per indirizzare le risorse del bot.- Tag
noindex: per le pagine che vuoi tenere accessibili agli utenti ma non all’indice Google (es. pagine di ringraziamento dopo un form). - Redirect chain: ogni redirect aggiunge latenza e consuma budget. Una catena A → B → C → D va risolta in A → D. Punto.
- Sitemap pulita: includi solo le pagine canoniche e indicizzabili. Una sitemap con URL in errore o con redirect manda segnali contraddittori.
Come controllare il comportamento di Googlebot in Search Console
Search Console ha strumenti specifici per capire cosa fa davvero Googlebot sul tuo sito. Questi sono i check che uso come punto di partenza in qualsiasi analisi tecnica:
- Vai su Indicizzazione > Pagine. Qui trovi tutte le pagine scoperte, suddivise per stato: indicizzate, escluse, con errori. Ogni voce ha una spiegazione del motivo. È il punto di partenza per capire cosa Google ha visitato e cosa ha deciso di ignorare.
- Usa lo strumento Ispezione URL su una pagina specifica. Mostra l’ultimo crawl, la versione renderizzata vista dal bot, e se la pagina è indicizzata o meno. Se l’anteprima è vuota o parziale, il problema è probabilmente JavaScript.
- Controlla il report Sitemaps. Verifica che la sitemap sia riconosciuta, senza errori di parsing, e che gli URL che elenca siano coerenti con quelli che vuoi indicizzare.
- Analizza i log del server (fuori da Search Console, ma essenziale per siti grandi): i log mostrano ogni visita di Googlebot con timestamp, URL e codice di risposta. È l’unico modo per vedere dove il bot passa davvero il suo tempo.
Quanto costa essere visibili su Google?
La visibilità organica su Google non ha un costo diretto: non paghi Google per apparire nei risultati di ricerca. Quello che chiedi al bot è gratuito nel senso letterale del termine.
Il costo è indiretto, ma reale: richiede investimento su contenuti di qualità, ottimizzazione tecnica e una strategia SEO che funzioni nel tempo. Google Ads è un canale diverso, a pagamento, che porta visibilità immediata ma che scompare non appena smetti di pagare.
Se stai valutando dove investire, la domanda giusta non è “quanto costa Google?” ma “quanto mi costa non essere trovato?” Una consulenza SEO tecnica ti aiuta a capire dove il tuo sito sta perdendo visibilità organica e come recuperarla in modo misurabile.
Vuoi sapere se Googlebot riesce davvero a leggere il tuo sito? Richiedi un’analisi SEO tecnica gratuita.
Se quello che hai letto ti risuona, fammi sapere su cosa stai lavorando.
Contattami
Autore
Adriana Longhitano
SEO Specialist con oltre 8 anni di esperienza. Progetto strategie di visibilità organica per aziende e professionisti che vogliono essere trovati — su Google e nei sistemi AI. Specializzata in GEO (Generative Engine Optimization), SEO tecnica e architettura dell’informazione.
