Le Budget de Crawl (SEO) Expliqué par Google !

Le crawl de Google est-il un indicateur SEO réellement important à prendre en compte et à optimiser ? Comment Google attribue-t-il un budget de crawl par site ? Google vient d’apporter quelques éléments de réponse à des questions fréquentes concernant le crawl d’un site par Google et le calcul du budget de crawl.

Optimisation du crawl de Google : un intérêt pour tous les sites ?

Selon Google, si un site dispose de moins de quelques milliers de pages, le webmaster ne devrait (la plupart du temps) pas avoir à se soucier du crawl de son site par Google.

L’optimisation du crawl de Google est une pratique surtout intéressante pour les gros sites (+ de 10 000 pages indexées) et ceux qui génèrent dynamiquement de nouvelles URLs en fonction de paramètres.

Qu’est-ce que le budget de crawl et comment est-il attribué ?

Le budget de crawl attribué à un site dépend de plusieurs facteurs :

• Le temps de réponse du site : plus le serveur sera rapide à répondre (site rapide à charger), plus Googlebot pourra crawler un volume de pages important en simultané.
• Les limites éventuelles configurées dans Search Console : de base, Google optimise lui même le rythme auquel il va crawler un site en fonction de son temps de réponse. Si le temps de réponse est très rapide, la vitesse d’exploration sera plus élevée, à l’inverse, si le serveur est lent, Google ralentira la vitesse d’exploration. Cependant, depuis la section « Paramètres du site » dans Search Console, les webmasters peuvent demander à Google de diminuer sa vitesse d’exploration maximale. Ils peuvent également configurer la vitesse d’exploration maximum acceptable par leur serveur.
• Le volume de pages populaires à crawler : Google a tendance à crawler les pages populaires beaucoup plus fréquemment que les pages moins populaires afin qu’elles soient les plus à jour possible dans l’index possible (ex de page populaire : la home).
• Le volume de nouvelles pages à crawler : un site qui aura fréquemment de nouvelles pages ajoutées nécessitera forcément plus de budget de crawll qu’un site statique qui n’a pas changé depuis plusieurs semaines / mois.
• La refonte d’un site avec changement d’URLs / de nom de domaine : la refonte d’un site avec changement d’URLs impact très fortement le crawl de Google car celui-ci doit rapidement mettre à jour les anciennes URLs par les nouvelles.

L’intégralité de ces facteurs déterminent le budget de crawl attribué à un site. Pour Google, le budget de crawl est simplement le volume d’URLs que Google peut et souhaite crawler sur un site.

Quels éléments peuvent négativement impacter le crawl d’un site par Google ?

Selon Google, les URLs de faible qualité qui impactent négativement le crawl et l’indexation des pages intéressantes d’un site sont les suivantes :

• Les URLs générées via une navigation à facettes ou avec des identifiants de sessions
• Les URLs avec du contenu dupliqué interne au site
• Les URLs qui répondent en code 200 alors qu’elles n’existent plus (soft 404)
• Les pages hackées
• Les pages avec navigation infinie (ex: calendriers)
• Les pages de faible qualité ou avec du contenu de spam

Ces différents problèmes ralentissent la découverte des contenus et URLs de qualité sur un site, cela impacte donc leur indexation et forcément leur positionnement sur le moteur de recherche.

Les questions fréquentes liées au crawl avec leurs réponses officielles par Google

Le temps de chargement d’un site affecte-t-il son budget de crawl ? Un nombre d’erreurs important peut-il également l’affecter négativement ?

Plus un site se charge vite, plus Google va crawler un nombre de pages important. Le temps de chargement d’un site impacte donc réellement le budget de crawl.

Si un site renvoie de nombreuses erreurs 50x, Google diminuera automatiquement le budget de crawl.

Le crawl est-il un facteur de positionnement ?

Les crawl est utile pour indexer des pages mais il n’est pas un facteur de positionnement en soit.

Les URLs alternatives comptent-elles dans le budget de crawl ?

Oui. Toutes les URLs crawlées par Google comptent dans le budget de crawl. Pour découvrir ces URLs alternatives (hreflang, site mobile sur uneautre URL, page AMP, …), Google doit crawler la page source et la page de destination.

L’utilisation de « crawl-delay » dans le robots.txt est-il pris en charge par Google ?

Non, cette directive non officielle n’est pas interpretée par Google.

Le nofollow a-t-il un impact sur le budget de crawl ?

Oui si l’intégralité des liens internes qui pointent vers une même page son en nofollow, Google n’ira pas la crawler. Non si seulement une partie des liens qui pointent vers cette page sont en nofollow.

Si vous recherchez des conseils pour optimiser le crawl de votre site, cet article de Google est toujours d’actualité selon Gary Illyes : https://webmasters.googleblog.com/2009/08/optimize-your-crawling-indexing.html

Source

Vincent Brossas

Fondateur de LEPTIDIGITAL et consultant SEO senior, je suis un grand passionné de marketing digital et de SEO. Avant d’être indépendant à 100 %, j’ai travaillé en tant qu’SEO manager et responsable e-commerce pour différentes sociétés (Altice Media, Infopro Digital, Voyage Privé, Groupe ERAM). (Sur le plan perso, je suis un grand curieux aussi passionné par l’IA, la photographie et les voyages !). PS : Si vous souhaitez me contactez, privilégiez LinkedIn ou l’email. Pour me contacter : [email protected]

www.leptidigital.fr