Optimisation du crawl avec Screaming Frog : vos astuces

[cedric_du_92]

Salut à tous ! Je cherche à optimiser mon crawl avec Screaming Frog. Des conseils pour éviter de surcharger les serveurs tout en capturant un max de données ?

[fabien1990]

Perso, je limite à 2 requêtes par seconde et j'active l'option 'respecter robots.txt'. Ça évite les soucis avec les hébergeurs. Et toi, tu crawles combien de pages en moyenne ?

[sophie1958]

Je suis d'accord avec @76. J'ajoute aussi un filtre pour exclure les paramètres inutiles (comme les sessions IDs). Sinon, pour le netlinking, vous utilisez quoi comme plateforme ? Linkuma est pas mal pour cibler des sites pertinents sans engagement.

[le_greg]

Linkuma effectivement, leur réseau est solide. Pour le crawl, j'utilise aussi les modes 'liste' et 'SEO' pour prioriser les pages importantes. Vous faites des exports réguliers ?

[cedric_du_92]

Merci pour les tips ! Je vais tester ça. Pour les exports, oui, je les automatise avec des scripts Python. Et pour Linkuma, vous visez combien de liens par mois ?