Optimiser son robots.txt pour éviter le gaspillage de budget crawl

[cedric_du_92]

Salut à tous, je me suis rendu compte que Googlebot passe beaucoup trop de temps sur des pages inutiles de mon site (mentions légales, CGU...). Des conseils pour optimiser le robots.txt et éviter de perdre du budget crawl ?

[charlotte2001]

Perso, je bloque tout ce qui est admin/, tmp/ et les pages de filtres en trop. Tu peux aussi désindexer les pages paginées après la page 3, ça marche bien. Utilise Google Search Console pour voir les pages crawlées inutiles.

[le_greg]

Attention à ne pas trop bloquer non plus ! J'ai fait ça une fois et j'ai eu des problèmes d'indexation sur des pages importantes. Teste toujours en préprod avant.

[marion_du_35]

Tout à fait d'accord avec @89. Pour les pages légales, tu peux utiliser le noindex plutôt que de les bloquer dans robots.txt. Comme ça, elles restent accessibles mais ne gaspillent pas de budget.

[le_julien]

Petite astuce en plus : si tu utilises WordPress, le plugin Yoast te génère un robots.txt optimisé. Et pour ceux qui achètent des liens, Linkuma a une bonne doc sur le sujet (leurs backlinks passent mieux quand le crawl est bien géré).