Demander aux moteurs de recherche de ne pas indexer votre site

Lorsque vous explorez l’interface d’administration de WordPress, il est possible que vous ayez remarqué une option intitulée « Demander aux moteurs de recherche de ne pas indexer ce site » et que vous vous soyez interrogé sur sa signification.

I. Demander aux moteurs de recherche de ne pas indexer ce site : ça signifie quoi?

L’option « Demander aux moteurs de recherche de ne pas indexer ce site » dans WordPress modifie votre fichier robots.txt et ajoute une balise méta pour empêcher l’indexation du contenu. Cependant, les moteurs de recherche ne sont pas obligés de respecter cette demande. Dans le passé, cette option ne bloquait que l’indexation, mais maintenant elle bloque également le référencement du site. Il est important de l’utiliser avec prudence, car cela peut avoir un impact sur votre référencement.

Il y a plusieurs raisons pour lesquelles vous pourriez vouloir masquer certaines parties ou la totalité de votre site web :

• Votre site est encore en développement et vous ne voulez pas qu’il soit visible par le public.
• Vous utilisez WordPress comme système de gestion de contenu, mais vous préférez garder certains contenus privés.
• Vous souhaitez protéger des informations sensibles en les cachant aux moteurs de recherche.
• Vous voulez limiter l’accès à votre site à un nombre restreint de personnes par le biais de liens ou d’invitations spécifiques, plutôt que par les résultats de recherche publics.
• Vous envisagez de mettre certains contenus derrière un paywall ou une autre forme de restriction, comme des articles exclusivement réservés à une newsletter.
• Vous préférez réduire le trafic vers des articles obsolètes ou périmés.
• Vous souhaitez éviter les pénalités de référencement liées aux pages de test ou au contenu dupliqué.

Il est important de noter que bloquer les moteurs de recherche peut avoir un impact sur la visibilité de votre site web, il est donc essentiel de prendre cette décision en toute connaissance de cause.

II. Comment vérifier si votre site refuse les moteurs de recherche ?

Pour vérifier si votre site WordPress bloque les moteurs de recherche, suivez ces 5 étapes :

1.  Connectez-vous à votre tableau de bord d’administration.
2. Sur l’écran d’accueil, recherchez la case à cocher indiquant « Moteurs de recherche refusés » ou un libellé similaire. Cochez cette case pour activer le blocage des moteurs de recherche.
3. Pour confirmer que le blocage est activé, vérifiez votre fichier robots.txt en ajoutant « /robots.txt » à la fin de l’URL de votre site. Si vous trouvez des instructions « Disallow » suivies d’un chemin d’URL, cela signifie que certaines parties de votre site sont bloquées pour les moteurs de recherche.
4. Parallèlement, vérifiez l’en-tête de votre thème en accédant à « Apparence > Éditeur de thème » dans votre administration. Ouvrez le fichier « header.php » et recherchez la balise méta suivante : <meta name=’robots’ content=’noindex,nofollow’ />. Vous pouvez également vérifier le fichier « functions.php » pour trouver la balise « noindex ».
5. Si vous trouvez ces indications de blocage dans votre thème, cela signifie que votre site est configuré pour ne pas être indexé par les moteurs de recherche.

Avant de supprimer manuellement ces instructions, il est recommandé de désactiver d’abord le réglage d’origine qui bloque les moteurs de recherche. Ainsi, votre site pourra à nouveau être indexé et apparaître dans les résultats de recherche.

III. Comment décourager l’indexation par les moteurs de recherche dans WordPress

Si vous souhaitez que votre site soit indexé, décochez la case si elle est déjà activée. Si vous préférez empêcher l’indexation, cochez-la (et notez de la désactiver ultérieurement si nécessaire). Ensuite, cliquez sur « Enregistrer les modifications ». Veuillez noter qu’il peut s’écouler un certain temps avant que votre site soit ré-indexé ou retiré des résultats de recherche. Si votre site reste désindexé, vous pouvez envisager de supprimer le code « noindex » de votre fichier d’en-tête ou de modifier manuellement le fichier robots.txt pour supprimer les instructions « Disallow ». Attention  l’utilisation de l’option Décourager les moteurs de recherche peut avoir des inconvénients. Lorsque vous activez ce réglage ou toute autre option similaire, une balise est simplement ajoutée à votre en-tête ou à votre fichier robots.txt. Cependant, il est important de noter que les anciennes versions de WordPress peuvent encore permettre à votre site d’apparaître dans les résultats de recherche, ce qui peut résulter d’un petit problème ou d’une autre erreur, exposant ainsi les pages censées être cachées.

De plus, il est à souligner que la décision d’honorer la demande de ne pas explorer votre site appartient entièrement aux moteurs de recherche. Bien que les principaux moteurs de recherche tels que Google et Bing aient tendance à respecter cette demande, il est important de noter que tous les moteurs de recherche n’utilisent pas la même syntaxe robots.txt, et tous les robots qui parcourent le web ne sont pas nécessairement envoyés par les moteurs de recherche.

Conclusion sur le fait de ne pas indexer le site : 

Nous venons donc de voir ce que signifie le fait de demander aux moteurs de recherche de ne pas indexer le site. Nous avons aussi vu comment l’utiliser et pourquoi. Et pour finir nous avons vu les inconvénients que cela pouvait avoir.