NEWS #Digitale : envie de recevoir nos meilleurs articles ?  Inscription → 

Comment Désindexer Efficacement des Pages Web et Fichiers (pdf, images) de Google en 2024 ?

Comment désindexer n’importe quelle page, images ou fichier de Google en 2024 ? Voici les différentes astuces qui marchent.

Vous souhaitez désindexer une page ou un groupe de pages de votre site des moteurs de recherche (Google, Qwant, Bing, …) ? Vous souhaitez désindexer un fichier PDF ou d’autres fichiers sans code source ? Vous souhaitez bloquer l’indexation d’un nouveau site ou d’un site en cours de construction ? Vous vous demandez quelles sont les méthodes les plus efficaces ? Voici tout ce qui marche en 2021 pour désindexer (ou bloquer l’indexation) efficacement une page web ou de n’importe quel type de fichier hébergé sur votre site (image, pdf, doc, …).
actu Google

Google l’a annoncé en 2019, la désindexation de pages, fichiers et groupes de pages par l’intermédiaire de la commande « Noindex: » du robots.txt n’est plus prise en compte par le moteur de recherche numéro 1 dans le monde (depuis le 1er Septembre 2019).

Voici donc un aperçu de toutes les alternatives à cette méthode simple de désindexation.

ATTENTION 1 : avant d’effectuer vous-même toute modification de votre site qui touche à l’indexation, je vous conseille vivement de vous entourer de professionnels (développeurs et référenceurs) pour éviter tout impact lourd sur votre site internet et votre activité. Ces techniques ne doivent dans l’idéal pas être gérées par des débutants.

ATTENTION 2 : l’indexation est à dissocier du crawl. En effet, si une page dispose d’une directive de non indexation, elle pourra toujours être crawlée par les moteurs de recherche. Ainsi, si votre objectif est d’économiser votre budget de crawl, vous devrez coupler vos directives de non indexation avec un blocage de ces mêmes pages (seulement après désindexation effective des pages) via le robots.txt.

1 – La balise html meta noindex à placer dans le header des pages

Le meta noindex est la méthode la plus utilisée par les webmasters, développeurs et référenceurs quand il s’agit de désindexer (ou d’empêcher l’indexation future) des pages web dans les moteurs de recherche comme Google. C’est aussi la méthode préférée des moteurs de recherche car supportée par l’intégralité d’entre eux.

De son côté, Google estime que c’est LA méthode la plus efficace de désindexation ou blocage d’indexation (qu’il s’agisse d’utiliser le meta noindex dans le code html ou via les entêtes http).

Très facile à mettre en place lorsque placée dans le code html, elle ne nécessite que peu de connaissances techniques mais doit être utilisée uniquement sur des pages que l’on souhaite voir désindexer sous peine de voir son référencement et son trafic drastiquement chuter !

Comment mettre en place la balise meta noindex sur une page ou un groupe de pages html ?

Sur les pages que vous souhaitez voir bloquées à l’indexation ou retirées de l’index de Google, il vous faudra donc ajouter ce code simple dans la partie <head> de votre page web :

<meta name="robots" content="noindex">

Si vous souhaitez uniquement bloquer l’indexation pour Google, vous pouvez le faire avec une directive de ce type :

<meta name="googlebot" content="noindex">

Si vous souhaitez automatiser l’ajout de ce type de balises sur un groupe de pages spécifique, il vous faudra obligatoirement passer par un développeur. Pour vérifier la bonne mise en place de ces balises, des extensions Chrome pourront vous être utiles si vous n’êtes pas un adepte du CTRL + U pour analyser vous-même le code source des pages.

Attention : si vous souhaitez que la balise robots noindex soit correctement crawlée et interprétée par Google et les autres moteurs de recherche, il faut impérativement que le robots.txt ne bloque pas l’accès aux pages qui disposent de cette balise html dans le head.

En effet, si vous empêchez un crawler de crawler la page et donc la directive d’indexation mise à jour, il ne sera pas en mesure de la découvrir et donc de l’interpréter.

Quel délai pour la prise en compte des balises noindex par Google ?

Une fois les balises meta noindex en place, la désindexation se fera lorsque Google sera repassé sur vos pages. Ceci peut prendre quelques jours à plusieurs semaines en fonction de votre site et de la profondeur des pages passées en noindexe.

C’est aussi pour cela qu’il ne faut absolument pas que les pages avec un noindex soient bloquées dans le robots.txt avant désindexation ! Ceci empêcherait totalement Google de découvrir les balises noindex et donc de les prendre en compte.

Comment accélérer la prise en compte de la balise noindex par Google ?

Une fois la balise noindex en place, pour accélérer le processus sur une sélection de pages que vous souhaitez voir désindexer rapidement, vous pouvez utiliser la Search Console pour rechercher la page en question puis demander à Google de la crawler.

Cette action permettra de réduire le temps de prise en compte de la meta noindex par le moteur de recherche cependant vous ne pourrez pas le faire pour l’intégralité de vos pages.

2 – L’entête HTTP X-Robots-Tag noindex pour désindexer des pages et des fichiers sans code source (pdf, images, …)

Si vous souhaitez désindexer des fichiers qui ne disposent pas de code source, vous n’aurez d’autre choix que d’utiliser les entêtes HTTP X-Robots-Tag noindex pour les désindexer des moteurs de recherche.

Pour ce faire, vous allez devoir faire obligatoirement appel à un développeur si vos connaissances techniques ne vous permettent pas de modifier sans risque le fichier .htaccess ou httpd.conf.

Concrètement, pour désindexer, une page web, un fichier pdf ou encore une image à l’aide de l’entête http X-Robots-Tag, il suffira d’ajouter « noindex » à la suite de cette dernière.

Voici à quoi cela doit ressembler dans les entêtes http des pages et fichiers à désindexer :

HTTP/1.1 200 OK Date: Tue, 25 May 2019 21:42:43 GMT

(…)
X-Robots-Tag: noindex
(…)

Comment mettre en place le X-Robots-Tag noindex concrètement ?

Pour le mettre en place, vous allez devoir modifier votre fichier .htaccess en incluant des directives de ce type :

Exemple 1 : code à placer dans le .htaccess à la racine du site pour désindexer tous les fichiers pdf d’un site :


<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>

Exemple 2 : code pour désindexer tous les fichiers images (png, jpeg, gif) d’un site entier :


<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>

Pour mettre en place un noindex sur un groupe de pages générées via PHP, il vous faudra gérer cela via le header.php avec un code de ce type :

header("X-Robots-Tag: noindex", true);

Si vous souhaitez que les moteurs de recherche ne suivent pas les liens présents sur une page (pas très logique dans la plupart des cas), vous pouvez associer au « noindex » la directive « nofollow ».

Si vous souhaitez consulter la documentation officielle de Google au sujet du X-Robots-Tag, c’est par ici : https://developers.google.com/search/reference/robots_meta_tag?hl=fr

3 – Renvoyer un code de réponse HTTP 404 ou 410 pour désindexer des pages et fichiers qui n’existent plus (et non remplacés)

Si une page web ou un fichier n’existe plus sur votre site et qu’aucun élément ne vient le remplacer, renvoyer un code de réponse 404 (not found) ou 410 (gone) est une bonne pratique permettant la désindexation à terme de cette page ou ressource.

Quelles différences entre le code 404 et 410 en SEO ?

404Not FoundRessource non trouvée.
410GoneLa ressource n’est plus disponible et aucune adresse de redirection n’est connue.

Pour Google, les deux codes indiquent que la ressource n’existe pas en revanche la 410 confirme que cette dernière a existé dans le passé mais qu’elle n’existera plus à l’avenir, elle est donc plus précise qu’un code de réponse 404.

4 – Bloquer le crawl de pages et fichiers via le robots.txt (quand ces derniers n’ont jamais été indexés par le passé)

Si vous souhaitez bloquer l’indexation de pages ou fichiers d’un nouveau site ou d’un site qui n’a jamais été indexé ou crawlé par les moteurs de recherche, dans cet unique cas, bloquer le crawl via le robots.txt impliquera que ces pages et ressources ne seront pas indexables et donc indexées (car non crawlable).

Pour se faire, il vous suffit d’ajouter dans votre fichier robots.txt (disponible à la racine de votre site), des directives de ce type :

Exemple 1 : pour bloquer le crawl (et l’indexation si nouveau site) de fichiers .pdf)

Disallow: /*.pdf

Exemple 2 : pour bloquer le crawl (et l’indexation si nouveau site) de pages d’une catégorie spécifique)

Disallow: */categorie-a-ne-pas-indexer/*

Avant de mettre en place des directives de ce type sur votre site, je vous recommande vivement d’utiliser l’outil de test de robots.txt de Google afin de les tester en amont avant mise en production.

5 – Bloquer les URLs à ne pas indexer grâce à un mot de passe

Très utilisé pour bloquer l’indexation d’une preprod ou d’un serveur de dev, cette technique est également efficace si les moteurs de recherche n’ont jamais pu crawler et indexer par le passé un site et les pages.

Pour mettre en place cela, il suffit de configurer une protection par mot de passe via le fichier .htaccess et le fichier .htpasswd

Voici à quoi un code d’exemple ressemble dans le .htaccess :


AuthType Basic
AuthName "Cet espace est interdit"
AuthUserFile /path/to/.htpasswd
Require valid-user

FAQ : Que devez-vous savoir sur la désindexation ?

Quelles sont les possibles conséquences d’une désindexation incorrecte sur le référencement et le trafic d’un site web ?

La désindexation incorrecte ou inadéquate de pages ou de fichiers peut avoir des conséquences négatives sur le référencement et le trafic d’un site web.

Si des pages importantes ou des fichiers sont désindexés par erreur, cela peut entraîner une chute de trafic et de visibilité dans les résultats de recherche de Google. Cela peut également entraîner des erreurs de liens brisés sur le site, ce qui peut affecter négativement l’expérience utilisateur.

D’autre part, si des pages ou des fichiers qui ne devraient pas être indexés ne sont pas correctement désindexés, cela peut entraîner une dilution de l’autorité de la page et un contenu dupliqué, ce qui peut également nuire au référencement global du site.

Comment s’assurer que les pages et fichiers désindexés ne seront plus accessibles via des liens internes ou externes ?

Lorsque vous désindexez des pages et des fichiers, il est important de vous assurer que ces pages et ces fichiers ne seront plus accessibles via des liens internes ou externes. Voici quelques bonnes pratiques à suivre pour s’assurer que les pages et les fichiers désindexés ne sont plus accessibles :

  1. Si les pages ou les fichiers que vous désindexez sont liés à d’autres pages sur votre site, assurez-vous de supprimer ces liens
  2. Si les pages ou les fichiers désindexés ont été liés à partir d’autres sites, il est important de contacter les propriétaires de ces sites et de leur demander de supprimer les liens
  3. Vous pouvez également utiliser des outils de suivi des liens pour vérifier que les liens vers les pages et les fichiers désindexés ont été supprimés. Ces outils vous permettent de trouver des liens brisés et de prendre les mesures nécessaires pour les supprimer
  4. Vous pouvez également utiliser des redirections 301 pour rediriger les utilisateurs des pages et des fichiers désindexés vers des pages ou des fichiers pertinents sur votre site. Cela garantira une expérience utilisateur cohérente et aidera à maintenir la pertinence de votre site dans les résultats de recherche

Est-il possible de désindexer sélectivement certaines parties ou sections d’une page plutôt que la page entière ?

Oui, il est tout à fait possible de désindexer sélectivement certaines parties ou sections d’une page plutôt que la page entière.

Lorsqu’il s’agit de désindexer une partie spécifique d’une page, vous pouvez utiliser des balises noindex ou des balises meta robots pour indiquer à Google de ne pas indexer cette partie de la page. Par exemple, si vous avez une page contenant plusieurs sections, vous pouvez utiliser la balise noindex sur une section particulière pour empêcher Google de l’indexer, tout en autorisant l’indexation des autres sections.

Attention : Il est important de noter que les balises noindex ne masqueront pas la section de la page des utilisateurs, elles ne feront que l’empêcher d’apparaître dans les résultats de recherche de Google. Si vous voulez masquer la section de la page aux utilisateurs, vous devrez utiliser des techniques de masquage de contenu.

D’autres méthodes pour désindexer sélectivement des parties d’une page comprennent :

  • L’utilisation de JavaScript pour masquer la section
  • La mise en place de règles de robots.txt pour empêcher l’indexation de la section
  • L’utilisation de directives X-Robots-Tag pour indiquer à Google de ne pas indexer la section

Cependant, il est important de noter que désindexer sélectivement certaines parties ou sections d’une page peut avoir des conséquences sur la façon dont Google interprète la page dans son ensemble. Cela peut potentiellement affecter le classement de la page et la pertinence de son contenu pour les utilisateurs.

Avant de se quitter…

Si cet article sur comment désindexer des pages web et fichiers de Google vous a plu, n’hésitez pas à le partager sur les réseaux sociaux et à vous abonner à notre newsletter digitale pour recevoir nos prochains articles.

Vous pouvez également suivre nos meilleurs articles via notre flux RSS : https://www.leptidigital.fr/tag/newsletter-digitale/feed/ (il vous suffit de l’insérer dans votre lecteur de flux RSS préféré (ex : Feedly)).

Nous sommes aussi actifs sur Linkedin, Twitter, Facebook et YouTube. On s’y retrouve ?

Pour toute question associée à cet article, n’hésitez pas à utiliser la section « commentaires » pour nous faire part de votre remarque, nous vous répondrons dans les meilleurs délais (avec plaisir). 

4.8/5 - (20 votes)

9 Replies to “Comment Désindexer Efficacement des Pages Web et Fichiers (pdf, images) de Google en 2024 ?”

  • Pow~Pix a dit :

    Bonjour,
    La balise meta noindex est difficile à mettre en place, surtout si la page n’existe plus.

    Amicalement.

  • Malik a dit :

    Noindex n’est plus pris en compte depuis le 1er septembre ? .. du coup ça ne sert plus a rien de placer la balise ?

  • Jakub a dit :

    Bonjour,
    J’ai eu la mauvaise idée de développer un site web A depuis une url de test (www.test.fr). Depuis j’ai migré le site développé sur une url propre (www.nouveausite.fr) mais Google continue à référencer le nouveau site sur l’URL de test et ce malgré les demandes d’Indes depuis googlesearch… une idée pour résoudre ce souci ? Merci d’avance.

  • Brice a dit :

    Bonjour,

    J’ai utilisé cette méthode de noindex il y a deux semaines pour supprimer l’indexation des pages sur Google, puis j’ai réalisé une demande de suppression sur Search Console.

    Je ne bloque pas l’accès à ces urls avec le fichier robots.txt, toutefois elles n’apparaissent pas sur mon sitemap.

    Est-ce que Google finira tout de même par crawler les pages et à désindexer ?

    Cordialement.

    • Bonjour,
      Si Google n’y a pas accès dans le sitemap, sont-elles maillées à un endroit du site ou sont-elles orphelines ? Si ces dernières sont orphelines, le processus de désindexation sera nettement plus long. En fonction du volume de pages à traiter et de la volumétrie de votre site, la désindexation sera plus ou moins longue.
      Disposez-vous d’un outil d’analyse de logs ? Ils sont très utiles pour suivre le passage de GoogleBot sur vos pages.
      Bonne journée

  • Brice a dit :

    Bonjour,

    Je fais suite à votre dernier message.

    Depuis le mois de juillet, je constate que Google n’a pas désindexé mes pages. Toutes ces pages apparaissent désormais dans l’onglet « Pages non envoyées uniquement » sur Google Search Console. J’ai 300 pages dont j’aimerais que Google oublie et la moitié d’entre elles sont des pages avec redirection.

    À comprendre votre réponse, j’en déduis que la réalisation d’un sitemap contenant toutes ces pages est indispensable. Mais est-ce que Google les supprimera réellement ? Je pense plutôt que Google m’affichera les 300 pages en « Exclues via la balise noindex »…

    Pour répondre à vos questions, mon site n’est pas si volumétrique comparé à d’autres je pense. Et je n’utilise pas d’outil pour analyser le parcours de GoogleBot.

    Cordialement.

    • Bonjour Brice,

      Je pense que le plus rapide serait que vous m’envoyiez la liste des URLS concernées et votre site (je vous ai envoyé un email).

      C’est surement un problème de robots.txt + noindex + sitemap.

      Il faut réaliser les choses dans l’ordre pour que cela fonctionne.

      Bonne journée

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *