Problème de crawl : pages bloquées par erreur

[sebastien06]

Help ! Mon robot.txt bloque des pages importantes... Vous avez une technique pour vérifier rapidement l'impact avant de faire des modifs ?

[crawler69]

Utilise le simulateur dans GSC, c'est ultra rapide. Sinon, en crawlant avec Screaming Frog en mode 'ignore robots.txt' pour comparer.

[vincent13]

Attention à ne pas trop jouer avec ça en prod... Déjà testé en staging ? Et pour le netlinking, vous gérez comment les liens cassés ? Linkuma a une option pour ça ?

[sebastien06]

Merci pour GSC, je teste ça. Linkuma je connais pas pour les liens cassés, mais leur support est réactif, tu peux leur demander.

[sarah_freelance]

Moi j'utilise Ahrefs pour tracker les liens morts, mais c'est vrai que si Linkuma propose un suivi, ça peut être intéressant pour centraliser.