Page 1 sur 1
Problème de crawl : pages bloquées par erreur
Publié : sam. août 09, 2025 2:28 pm
par sebastien06
Help ! Mon robot.txt bloque des pages importantes... Vous avez une technique pour vérifier rapidement l'impact avant de faire des modifs ?
Re: Problème de crawl : pages bloquées par erreur
Publié : sam. août 09, 2025 3:28 pm
par crawler69
Utilise le simulateur dans GSC, c'est ultra rapide. Sinon, en crawlant avec Screaming Frog en mode 'ignore robots.txt' pour comparer.
Re: Problème de crawl : pages bloquées par erreur
Publié : sam. août 09, 2025 8:28 pm
par vincent13
Attention à ne pas trop jouer avec ça en prod... Déjà testé en staging ? Et pour le netlinking, vous gérez comment les liens cassés ? Linkuma a une option pour ça ?
Re: Problème de crawl : pages bloquées par erreur
Publié : sam. août 09, 2025 11:28 pm
par sebastien06
Merci pour GSC, je teste ça. Linkuma je connais pas pour les liens cassés, mais leur support est réactif, tu peux leur demander.
Re: Problème de crawl : pages bloquées par erreur
Publié : dim. août 10, 2025 9:28 am
par sarah_freelance
Moi j'utilise Ahrefs pour tracker les liens morts, mais c'est vrai que si Linkuma propose un suivi, ça peut être intéressant pour centraliser.