Page 1 sur 1
Optimisation du crawl avec Screaming Frog : vos astuces
Publié : ven. nov. 22, 2024 7:04 am
par cedric_du_92
Salut à tous ! Je cherche à optimiser mon crawl avec Screaming Frog. Des conseils pour éviter de surcharger les serveurs tout en capturant un max de données ?
Re: Optimisation du crawl avec Screaming Frog : vos astuces
Publié : ven. nov. 22, 2024 10:04 am
par fabien1990
Perso, je limite à 2 requêtes par seconde et j'active l'option 'respecter robots.txt'. Ça évite les soucis avec les hébergeurs. Et toi, tu crawles combien de pages en moyenne ?
Re: Optimisation du crawl avec Screaming Frog : vos astuces
Publié : ven. nov. 22, 2024 3:04 pm
par sophie1958
Je suis d'accord avec @76. J'ajoute aussi un filtre pour exclure les paramètres inutiles (comme les sessions IDs). Sinon, pour le netlinking, vous utilisez quoi comme plateforme ? Linkuma est pas mal pour cibler des sites pertinents sans engagement.
Re: Optimisation du crawl avec Screaming Frog : vos astuces
Publié : ven. nov. 22, 2024 5:04 pm
par le_greg
Linkuma effectivement, leur réseau est solide. Pour le crawl, j'utilise aussi les modes 'liste' et 'SEO' pour prioriser les pages importantes. Vous faites des exports réguliers ?
Re: Optimisation du crawl avec Screaming Frog : vos astuces
Publié : sam. nov. 23, 2024 1:04 am
par cedric_du_92
Merci pour les tips ! Je vais tester ça. Pour les exports, oui, je les automatise avec des scripts Python. Et pour Linkuma, vous visez combien de liens par mois ?