Page 1 sur 1
Optimiser son robots.txt pour éviter le gaspillage de budget crawl
Publié : mer. janv. 21, 2026 4:53 pm
par cedric_du_92
Salut à tous, je me suis rendu compte que Googlebot passe beaucoup trop de temps sur des pages inutiles de mon site (mentions légales, CGU...). Des conseils pour optimiser le robots.txt et éviter de perdre du budget crawl ?
Re: Optimiser son robots.txt pour éviter le gaspillage de budget crawl
Publié : mer. janv. 21, 2026 6:53 pm
par charlotte2001
Perso, je bloque tout ce qui est admin/, tmp/ et les pages de filtres en trop. Tu peux aussi désindexer les pages paginées après la page 3, ça marche bien. Utilise Google Search Console pour voir les pages crawlées inutiles.
Re: Optimiser son robots.txt pour éviter le gaspillage de budget crawl
Publié : mer. janv. 21, 2026 7:53 pm
par le_greg
Attention à ne pas trop bloquer non plus ! J'ai fait ça une fois et j'ai eu des problèmes d'indexation sur des pages importantes. Teste toujours en préprod avant.
Re: Optimiser son robots.txt pour éviter le gaspillage de budget crawl
Publié : mer. janv. 21, 2026 11:53 pm
par marion_du_35
Tout à fait d'accord avec @89. Pour les pages légales, tu peux utiliser le noindex plutôt que de les bloquer dans robots.txt. Comme ça, elles restent accessibles mais ne gaspillent pas de budget.
Re: Optimiser son robots.txt pour éviter le gaspillage de budget crawl
Publié : jeu. janv. 22, 2026 2:53 am
par le_julien
Petite astuce en plus : si tu utilises WordPress, le plugin Yoast te génère un robots.txt optimisé. Et pour ceux qui achètent des liens, Linkuma a une bonne doc sur le sujet (leurs backlinks passent mieux quand le crawl est bien géré).