Robots.txt: perché conta per la tua azienda
Due righe sbagliate in questo file possono togliere un sito intero da Google, ed è un errore che capita davvero quando si va online con il blocco lasciato dalla fase di sviluppo. Dall'altra parte, oggi il file è anche il posto in cui un'azienda decide se farsi leggere dai bot delle AI: bloccarli protegge i contenuti ma toglie la possibilità di essere citati nelle risposte di ChatGPT o Perplexity. Nel 2026 più della metà degli specialisti di SEO tecnica ha rivisto il proprio robots.txt e le regole del CDN proprio per questo.
Un esempio concreto di Robots.txt
Caso tipico: un hotel rifà il sito con una nuova agenzia; il robots.txt di sviluppo, con "Disallow: /" per tutti i bot, è andato online insieme al sito. Per tre settimane le prenotazioni dirette sono calate senza che nessuno capisse perché, finché una scansione ha mostrato zero pagine accessibili. Rimossa la riga, Google ha riletto il sito in pochi giorni.
Gli errori più comuni con Robots.txt
- Andare online con "Disallow: /" lasciato dallo sviluppo
- Usare il robots.txt per nascondere pagine riservate: il file è pubblico e le elenca
- Bloccare le cartelle di CSS e JavaScript, che a Google servono per capire la pagina
- Bloccare tutti i bot AI per riflesso, senza decidere se si vuole comparire nelle loro risposte
Domande frequenti su Robots.txt
Devo bloccare i bot delle AI?
Dipende da cosa vuoi. Se il sito vende servizi o prodotti e vuoi essere citato nelle risposte di ChatGPT, Perplexity o Google AI, i bot devono poter leggere le pagine. Se pubblichi contenuti a pagamento o dati che non vuoi vedere riusati, ha senso bloccare i bot di addestramento e lasciare quelli di ricerca. Il file permette regole diverse per ciascuno.
Robots.txt e "noindex" sono la stessa cosa?
No. Il robots.txt impedisce la scansione; il tag noindex lascia scansionare la pagina ma chiede di non mostrarla nei risultati. Una pagina bloccata dal robots.txt può comunque comparire su Google, senza descrizione, se altri siti la linkano.
