Vous souhaitez désindexer une page ou un groupe de pages de votre site des moteurs de recherche (Google, Bing, Yandex, Baidu…) ? Vous souhaitez désindexer un fichier PDF ou d’autres fichiers sans code source ? Vous souhaitez bloquer l’indexation d’un nouveau site ou d’un site en cours de construction ? Vous vous demandez quelles sont les méthodes les plus efficaces ? Voici tout ce qui marche en 2024 pour désindexer (ou bloquer l’indexation) efficacement.
ATTENTION 1 : avant d’effectuer vous-même toute modification de votre site qui touche à l’indexation, je vous conseille vivement de vous entourer de professionnels (développeurs et référenceurs) pour éviter tout impact lourd sur votre site internet et votre activité. Ces techniques ne doivent pas, dans l’idéal, être gérées par des débutants.
ATTENTION 2 : l’indexation est à dissocier du crawl. En effet, si une page dispose d’une directive de non indexation, elle pourra toujours être crawlée par les moteurs de recherche. Ainsi, si votre objectif est d’économiser votre budget de crawl, vous devrez coupler vos directives de non indexation avec un blocage de ces mêmes pages (seulement après désindexation effective des pages) via le robots.txt.
Accès rapide (Sommaire) :
1 – La balise html meta noindex à placer dans le header des pages
Le meta robots noindex est la méthode la plus utilisée par les webmasters, développeurs et référenceurs quand il s’agit de désindexer (ou d’empêcher l’indexation future) des pages web dans les moteurs de recherche comme Google. C’est aussi la méthode préférée des moteurs de recherche car supportée par l’intégralité d’entre eux.
<meta name="robots" content="noindex">
De son côté, Google estime que c’est LA méthode la plus efficace de désindexation ou blocage d’indexation (qu’il s’agisse d’utiliser le meta noindex dans le code html ou via les entêtes http).
Très facile à mettre en place lorsque placée dans le code html, elle ne nécessite que peu de connaissances techniques mais doit être utilisée uniquement sur des pages que l’on souhaite voir désindexer sous peine de voir son référencement et son trafic drastiquement chuter !
Comment mettre en place la balise meta robots noindex sur une page ou un groupe de pages html ?
Sur les pages que vous souhaitez voir bloquées à l’indexation ou retirées de l’index de Google, il vous faudra donc ajouter ce code simple dans la partie <head> de votre page web :
<meta name="robots" content="noindex">
Si vous souhaitez uniquement bloquer l’indexation pour Google, vous pouvez le faire avec une directive de ce type :
<meta name="googlebot" content="noindex">
Si vous souhaitez automatiser l’ajout de ce type de balises sur un groupe de pages spécifique, il vous faudra obligatoirement passer par un développeur. Pour vérifier la bonne mise en place de ces balises, des extensions Chrome pourront vous être utiles si vous n’êtes pas un adepte du CTRL + U pour analyser vous-même le code source des pages.
Attention : si vous souhaitez que la balise robots noindex soit correctement crawlée et interprétée par Google et les autres moteurs de recherche, il faut impérativement que le robots.txt ne bloque pas l’accès aux pages qui disposent de cette balise html dans le head. En effet, si vous empêchez un crawler de crawler la page et donc la directive d’indexation mise à jour, il ne sera pas en mesure de la découvrir et donc de l’interpréter.
Quel délai pour la prise en compte des balises noindex par Google ?
Une fois les balises meta noindex en place, la désindexation se fera lorsque Google sera repassé sur vos pages. Ceci peut prendre quelques jours à plusieurs semaines en fonction de votre site et de la profondeur des pages passées en noindexe.
C’est aussi pour cela qu’il ne faut absolument pas que les pages avec un noindex soient bloquées dans le robots.txt avant désindexation ! Ceci empêcherait totalement Google de découvrir les balises noindex et donc de les prendre en compte.
Comment accélérer la prise en compte de la balise noindex par Google ?
Une fois la balise noindex en place, pour accélérer le processus sur une sélection de pages que vous souhaitez voir désindexer rapidement, vous pouvez utiliser la Search Console pour rechercher la page en question puis demander à Google de la recrawler en cliquant sur « Demander une indexation« .
Demander à Google de recrawler / indexer une page via la Search Console en cliquant sur « Demander une indexation »
Cette action permettra de réduire le temps de prise en compte de la meta noindex par le moteur de recherche cependant vous ne pourrez pas le faire pour l’intégralité de vos pages.
Créer une sitemap de désindexation et le soumettre dans Search Console
Si vous souhaitez accélérer la prise en compte de nouvelles directives de non indexation ajoutées sur des centaines voire milliers de pages, une méthode très efficace consiste à créer un sitemap.xml contenant l’intégralité des pages web qui disposent désormais d’une directive noindex puis de soumettre ce sitemap via Search Console.
Aperçu du suivi de l’indexation et de la désindexation des pages intégrées dans un sitemap soumis dans Search Console
Cette approche est doublement bénéfique puisqu’elle va à la fois vous permettre d’accélérer la prise en compte par Google mais aussi vous offrir de la visibilité sur l’évolution de la désindexation des pages listées d
2 – L’entête HTTP X-Robots-Tag noindex pour désindexer des pages et des fichiers sans code source (pdf, images, …)
Si vous souhaitez désindexer des fichiers qui ne disposent pas de code source, vous n’aurez d’autre choix que d’utiliser les entêtes HTTP X-Robots-Tag noindex pour les désindexer des moteurs de recherche.
Pour ce faire, vous allez devoir faire obligatoirement appel à un développeur si vos connaissances techniques ne vous permettent pas de modifier sans risque le fichier .htaccess ou httpd.conf.
Concrètement, pour désindexer, une page web, un fichier pdf ou encore une image à l’aide de l’entête http X-Robots-Tag, il suffira d’ajouter « noindex » à la suite de cette dernière.
Voici à quoi cela doit ressembler dans les entêtes http des pages et fichiers à désindexer :
HTTP/1.1 200 OK Date: Tue, 25 May 2019 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
Comment mettre en place le X-Robots-Tag noindex concrètement ?
Pour le mettre en place, vous allez devoir modifier votre fichier .htaccess en incluant des directives de ce type :
Exemple 1 : code à placer dans le .htaccess à la racine du site pour désindexer tous les fichiers pdf d’un site :
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
Exemple 2 : code pour désindexer tous les fichiers images (png, jpeg, gif) d’un site entier :
<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>
Pour mettre en place un noindex sur un groupe de pages générées via PHP, il vous faudra gérer cela via le header.php avec un code de ce type :
header("X-Robots-Tag: noindex", true);
Si vous souhaitez que les moteurs de recherche ne suivent pas les liens présents sur une page (pas très logique dans la plupart des cas), vous pouvez associer au « noindex » la directive « nofollow ».
3 – Renvoyer un code de réponse HTTP 404 ou 410 pour désindexer des pages et fichiers qui n’existent plus (et non remplacés)
Si une page web ou un fichier n’existe plus sur votre site et qu’aucun élément ne vient le remplacer, renvoyer un code de réponse 404 (not found) ou 410 (gone) est une bonne pratique permettant la désindexation à terme de cette page ou ressource.
Quelles différences entre le code 404 et 410 en SEO ?
404
Not Found
Ressource non trouvée.
410
Gone
La ressource n’est plus disponible et aucune adresse de redirection n’est connue.
Pour Google, les deux codes indiquent que la ressource n’existe pas en revanche la 410 confirme que cette dernière a existé dans le passé mais qu’elle n’existera plus à l’avenir, elle est donc plus précise qu’un code de réponse 404.
4 – Bloquer le crawl de pages et fichiers via le robots.txt (quand ces derniers n’ont jamais été indexés par le passé)
Si vous souhaitez bloquer l’indexation de pages ou fichiers d’un nouveau site ou d’un site qui n’a jamais été indexé ou crawlé par les moteurs de recherche, dans cet unique cas, bloquer le crawl via le robots.txt impliquera que ces pages et ressources ne seront pas indexables et donc indexées (car non crawlable).
Pour se faire, il vous suffit d’ajouter dans votre fichier robots.txt (disponible à la racine de votre site), des directives de ce type :
Exemple 1 : pour bloquer le crawl (et l’indexation si nouveau site) de fichiers .pdf)
Disallow: /*.pdf
Exemple 2 : pour bloquer le crawl (et l’indexation si nouveau site) de pages d’une catégorie spécifique)
Disallow: */categorie-a-ne-pas-indexer/*
Avant de mettre en place des directives de ce type sur votre site, je vous recommande vivement d’utiliser l’outil de test de robots.txt de Google afin de les tester en amont avant mise en production.
5 – Désindexer des pages en les redirigeant en 301
Si vous souhaitez désindexer une page, ou un nombre important de pages, car vous estimez que d’autres pages sont plus pertinentes, vous pouvez également configurer des redirections 301 via le fichier .htaccess (ou via un plugin si vous utilisez un CMS comme WordPress).
L’utilisation de redirections 301 est particulièrement recommandé si les anciennes pages recevaient des backlinks, cela permet dans ce cas de limiter la perte de linkjuice et de booster les nouvelles pages.
Voici un exemple de règle qui va rediriger toutes les pages d’un répertoire vers un autre en 301 :
Pour accélérer la prise en compte de ces 301 par Google, vous pouvez là encore réaliser un sitemap contenant toutes les URLs qui redirigent vers les nouvelles et le soumettre via votre compte Search Console ainsi que via le robots.txt
6 – Obtenir la suppression temporaire d’une page de l’index via Google Search Console
Aperçu d’une demande de suppression d’une URL de Google via Search Console
Après avoir sélectionné votre site web dans la liste des propriétés à gérer, vous pourrez soumettre à Google, URL par URL, les URLs que vous souhaitez voire supprimer temporairement de ses résultats de recherche en urgence.
7 – Bloquer les URLs à ne pas indexer grâce à un mot de passe
Très utilisé pour bloquer l’indexation d’une preprod ou d’un serveur de dev, cette technique est également efficace si les moteurs de recherche n’ont jamais pu crawler et indexer par le passé un site et les pages.
Pour mettre en place cela, il suffit de configurer une protection par mot de passe via le fichier .htaccess et le fichier .htpasswd
Voici à quoi un code d’exemple ressemble dans le .htaccess :
Bon à savoir : Google l’a annoncé en 2019, la désindexation de pages, fichiers et groupes de pages par l’intermédiaire de la commande « Noindex: » du robots.txt n’est plus prise en compte par le moteur de recherche numéro 1 dans le monde (depuis le 1er Septembre 2019).
Avant de se quitter…
Si cet article sur comment désindexer des pages web et fichiers de Google vous a plu, n’hésitez pas à le partager sur les réseaux sociaux et à vous abonner à notre newsletter digitale pour recevoir nos prochains articles.
Vous pouvez également suivre nos meilleurs articles via notre flux RSS : https://www.leptidigital.fr/tag/newsletter-digitale/feed/ (il vous suffit de l’insérer dans votre lecteur de flux RSS préféré (ex : Feedly)).
Nous sommes aussi actifs sur Linkedin, Twitter, Facebook et YouTube. On s’y retrouve ?
Pour toute question associée à cet article, n’hésitez pas à utiliser la section « commentaires » pour nous faire part de votre remarque, nous vous répondrons dans les meilleurs délais (avec plaisir).
Fondateur de LEPTIDIGITALet consultant SEO senior (à mes heures perdues), je suis un grand passionné de marketing digital et de SEO. Avant d’être indépendant à 100 %, j’ai travaillé en tant qu’SEO manager et responsable e-commerce pour différentes sociétés (Altice Media, Infopro Digital, Voyage Privé, Groupe ERAM). (Sur le plan perso, je suis un grand curieux hyperactif aussi passionné par l’IA, la photographie et les voyages !). PS : Si vous souhaitez me contactez, privilégiez LinkedIn ou Instagram. Pour me contacter : [email protected]
D’où les autres propositions et possibilités mais si la page n’existe plus et dispose d’une autre page intéressante / proche / similaire, pourquoi ne pas mettre en place une redirection 301 ?
Bonjour Malik, au temps pour moi, je n’avais pas vu votre message. Bien que cela ne soit officiellement pas pris en compte par Google, vous pouvez toujours l’utiliser en combinaison des autres méthodes présentées dans l’article pour maximiser les chances de désindexation rapide de vos pages et fichiers. Bonne journée
Bonjour,
J’ai eu la mauvaise idée de développer un site web A depuis une url de test (www.test.fr). Depuis j’ai migré le site développé sur une url propre (www.nouveausite.fr) mais Google continue à référencer le nouveau site sur l’URL de test et ce malgré les demandes d’Indes depuis googlesearch… une idée pour résoudre ce souci ? Merci d’avance.
Bonjour Jakub, le mieux est dans ce cas de faire des redirections 301 de ton site test.fr vers ton nouveausite.fr. Chaque page doit rediriger vers son équivalent sur le nouveau domaine. Bonne journée
J’ai utilisé cette méthode de noindex il y a deux semaines pour supprimer l’indexation des pages sur Google, puis j’ai réalisé une demande de suppression sur Search Console.
Je ne bloque pas l’accès à ces urls avec le fichier robots.txt, toutefois elles n’apparaissent pas sur mon sitemap.
Est-ce que Google finira tout de même par crawler les pages et à désindexer ?
Bonjour,
Si Google n’y a pas accès dans le sitemap, sont-elles maillées à un endroit du site ou sont-elles orphelines ? Si ces dernières sont orphelines, le processus de désindexation sera nettement plus long. En fonction du volume de pages à traiter et de la volumétrie de votre site, la désindexation sera plus ou moins longue.
Disposez-vous d’un outil d’analyse de logs ? Ils sont très utiles pour suivre le passage de GoogleBot sur vos pages.
Bonne journée
Depuis le mois de juillet, je constate que Google n’a pas désindexé mes pages. Toutes ces pages apparaissent désormais dans l’onglet « Pages non envoyées uniquement » sur Google Search Console. J’ai 300 pages dont j’aimerais que Google oublie et la moitié d’entre elles sont des pages avec redirection.
À comprendre votre réponse, j’en déduis que la réalisation d’un sitemap contenant toutes ces pages est indispensable. Mais est-ce que Google les supprimera réellement ? Je pense plutôt que Google m’affichera les 300 pages en « Exclues via la balise noindex »…
Pour répondre à vos questions, mon site n’est pas si volumétrique comparé à d’autres je pense. Et je n’utilise pas d’outil pour analyser le parcours de GoogleBot.
Bonjour,
La balise meta noindex est difficile à mettre en place, surtout si la page n’existe plus.
Amicalement.
D’où les autres propositions et possibilités mais si la page n’existe plus et dispose d’une autre page intéressante / proche / similaire, pourquoi ne pas mettre en place une redirection 301 ?
Vincent
Noindex n’est plus pris en compte depuis le 1er septembre ? .. du coup ça ne sert plus a rien de placer la balise ?
Bonjour Malik, au temps pour moi, je n’avais pas vu votre message. Bien que cela ne soit officiellement pas pris en compte par Google, vous pouvez toujours l’utiliser en combinaison des autres méthodes présentées dans l’article pour maximiser les chances de désindexation rapide de vos pages et fichiers. Bonne journée
Bonjour,
J’ai eu la mauvaise idée de développer un site web A depuis une url de test (www.test.fr). Depuis j’ai migré le site développé sur une url propre (www.nouveausite.fr) mais Google continue à référencer le nouveau site sur l’URL de test et ce malgré les demandes d’Indes depuis googlesearch… une idée pour résoudre ce souci ? Merci d’avance.
Bonjour Jakub, le mieux est dans ce cas de faire des redirections 301 de ton site test.fr vers ton nouveausite.fr. Chaque page doit rediriger vers son équivalent sur le nouveau domaine. Bonne journée
Bonjour,
J’ai utilisé cette méthode de noindex il y a deux semaines pour supprimer l’indexation des pages sur Google, puis j’ai réalisé une demande de suppression sur Search Console.
Je ne bloque pas l’accès à ces urls avec le fichier robots.txt, toutefois elles n’apparaissent pas sur mon sitemap.
Est-ce que Google finira tout de même par crawler les pages et à désindexer ?
Cordialement.
Bonjour,
Si Google n’y a pas accès dans le sitemap, sont-elles maillées à un endroit du site ou sont-elles orphelines ? Si ces dernières sont orphelines, le processus de désindexation sera nettement plus long. En fonction du volume de pages à traiter et de la volumétrie de votre site, la désindexation sera plus ou moins longue.
Disposez-vous d’un outil d’analyse de logs ? Ils sont très utiles pour suivre le passage de GoogleBot sur vos pages.
Bonne journée
Bonjour,
Je fais suite à votre dernier message.
Depuis le mois de juillet, je constate que Google n’a pas désindexé mes pages. Toutes ces pages apparaissent désormais dans l’onglet « Pages non envoyées uniquement » sur Google Search Console. J’ai 300 pages dont j’aimerais que Google oublie et la moitié d’entre elles sont des pages avec redirection.
À comprendre votre réponse, j’en déduis que la réalisation d’un sitemap contenant toutes ces pages est indispensable. Mais est-ce que Google les supprimera réellement ? Je pense plutôt que Google m’affichera les 300 pages en « Exclues via la balise noindex »…
Pour répondre à vos questions, mon site n’est pas si volumétrique comparé à d’autres je pense. Et je n’utilise pas d’outil pour analyser le parcours de GoogleBot.
Cordialement.
Bonjour Brice,
Je pense que le plus rapide serait que vous m’envoyiez la liste des URLS concernées et votre site (je vous ai envoyé un email).
C’est surement un problème de robots.txt + noindex + sitemap.
Il faut réaliser les choses dans l’ordre pour que cela fonctionne.
Bonne journée