Cet outil, introduit dans la version antérieure de la Search Console, offrait aux éditeurs la possibilité de limiter la fréquence de crawl de Google sur leur site. Toutefois, avec le temps, son utilisation a décliné, révélant des lacunes dans son efficacité et sa pertinence. Face à cette situation, Google a pris une décision radicale : la suppression de cet outil et l’introduction d’une gestion plus automatisée et optimisée du taux de crawl.
Dans cet article, nous explorerons les raisons de ce changement, les enjeux qu’il représente pour les éditeurs de sites, et les solutions alternatives mises en place par Google. Comment les éditeurs peuvent-ils désormais gérer le taux de crawl de leur site ? Quels avantages peuvent-ils tirer d’une bonne gestion du taux de crawl ? Nous analyserons en détail ces questions pour mieux comprendre l’impact de cette évolution sur l’optimisation du référencement naturel (SEO) et l’expérience utilisateur.
Un outil devenu obsolète avec les améliorations techniques
Google a récemment annoncé la suppression de l’outil de limitation du taux de crawl dans Google Search Console à partir du 8 janvier 2024.
Selon le géant du web, cet outil n’est plus utile en raison des améliorations apportées à leur logique de crawl et des autres outils désormais disponibles pour les éditeurs.
La fonctionnalité de limite de taux de crawl, présente dans l’ancienne version de Search Console, permettait aux propriétaires de sites web de demander à Google de crawler moins fréquemment leur site.
Toutefois, Google déconseillait historiquement de limiter le taux de crawl, sauf si cela causait des problèmes de charge serveur.
Peu d’utilisateurs et une utilité discutable
En réalité, l’outil a eu un effet lent et peu efficace, ayant été rarement utilisé par les propriétaires de site. La plupart d’entre eux réglaient d’ailleurs la vitesse de crawl au minimum.
Avec cette suppression, Google prévoit d’établir la vitesse minimale de crawl à un taux inférieur similaire aux anciennes limites. Cela permettra de continuer à respecter les paramètres passés si l’intérêt de recherche est faible et évitera ainsi de gaspiller inutilement de la bande passante.
Les enjeux de la suppression de l’outil en bref :
- Mise en place d’une nouvelle limite minimale pour le taux de crawl par Google
- Optimisation de l’utilisation de la bande passante en cas de faible intérêt pour un site web
- Orientation des éditeurs vers des outils plus performants pour monitorer le crawl de leur site
- Suppression d’une fonctionnalité peu utilisée et potentiellement nuisible en cas de mauvaise utilisation
Que faire en cas de problèmes de crawl de votre site web ?
Googlebot et la gestion automatique du taux de crawl
Désormais, Googlebot ralentira automatiquement le crawl si le serveur retourne constamment des codes d’état HTTP 500 pour un ensemble d’URL.
Cette gestion automatique du taux de crawl par Googlebot s’avère plus efficace que celle offerte par l’outil de limitation de vitesse désormais obsolète.
Les propriétaires de sites n’ont donc généralement pas besoin d’utiliser cet outil, et ceux qui le faisaient ont souvent paramétré la vitesse de crawl au minimum acceptable.
Comment bien gérer le taux de crawl de votre site ?
Pour réduire le taux de crawl, il est recommandé aux éditeurs de diriger Googlebot grâce aux réponses HTTP 500, 503 ou 429, en suivant les indications détaillées dans cet article de blog de Google. Cette méthode permettra une meilleure adaptabilité aux exigences du site web et évitera de pénaliser l’accès aux contenus à jour pour les utilisateurs.
Les avantages d’une bonne gestion du taux de crawl en bref :
- Assurer un accès rapide et efficient aux contenus pour les internautes
- Éviter les problèmes liés à la surcharge serveur lors du crawl par Googlebot
- Maintenir un bon classement et une apparence optimale dans les résultats de recherche
- Faciliter l’analyse des données et l’amélioration continue du site web
L’annonce de la suppression de l’outil de limitation du taux de crawl dans Google Search Console incite les éditeurs à opter pour les méthodes alternatives plus performantes et automatisées telles que celle proposée par Googlebot. Il s’agit d’une étape supplémentaire dans l’optimisation du référencement naturel (SEO) et de l’expérience utilisateur grâce à une meilleure gestion du crawl des sites web.
Principalement passionné par les nouvelles technologies, l’IA, la cybersécurité, je suis un professionnel de nature discrète qui n’aime pas trop les réseaux sociaux (je n’ai pas de comptes publics). Rédacteur indépendant pour LEPTIDIGITAL, j’interviens en priorité sur des sujets d’actualité mais aussi sur des articles de fond. Pour me contacter : [email protected]
