Referencement Pro

Salut à tous, je cherche à optimiser mon fichier robots.txt pour éviter que Google gaspille son budget de crawl sur des pages inutiles. Des conseils ?

Franchement, la première chose à faire est de bloquer les pages techniques comme les pages de connexion ou les filtres à facettes. J’utilise Screaming Frog pour repérer ces pages, ça marche bien.

Oui, Screaming Frog est top ! J’ajouterais aussi de bien vérifier les directives Disallow pour ne pas bloquer par erreur des pages importantes. Une fois, j’avais bloqué une page catégorie sans faire exprès… pas glop.

Attention aussi à ne pas surcharger le robots.txt avec trop de règles. Google conseille de garder ça léger pour éviter de ralentir le crawl.

Très bon point ! Perso, j’utilise aussi la Search Console pour voir quelles pages sont crawlées et ajuster en fonction. Ça donne une bonne vision globale.