Le budget d’exploration : quand il devient votre problème

Le budget d’exploration est le nombre de pages qu’un moteur accepte de parcourir sur votre site dans un temps donné. C’est une notion dont on parle beaucoup et qui ne concerne, en pratique, qu’une minorité de sites. Sur ceux-là, en revanche, elle explique des symptômes qu’on met parfois des mois à comprendre.

Voici quand la question se pose réellement, et quoi faire si c’est votre cas.

Est-ce votre problème ?

Dans la plupart des cas, non. Un site éditorial de quelques centaines de pages est exploré entièrement et régulièrement, sans aucune contrainte. Se préoccuper de budget d’exploration à cette échelle est une perte de temps.

La question devient réelle dans trois situations.

• Un site de plusieurs milliers d’URL, ce qu’un annuaire atteint très vite une fois comptées les fiches, les catégories, la pagination et les filtres.
• Un site qui génère automatiquement des adresses : combinaisons de filtres, tris, recherche interne. Le volume peut devenir théoriquement infini.
• Un serveur lent. Le moteur ajuste son rythme à la capacité de réponse : un temps de réponse élevé réduit mécaniquement le nombre de pages parcourues à chaque passage.

Les symptômes

1. Des pages publiées depuis des semaines et toujours pas indexées, alors qu’elles sont correctement liées.
2. Un écart important entre le nombre de pages de votre plan de site et le nombre de pages connues du moteur.
3. Des mises à jour qui mettent longtemps à être prises en compte, signe que vos pages sont revisitées rarement.
4. Un rapport d’exploration dominé par des adresses sans intérêt : pages de filtres, de tri, de recherche interne. C’est le symptôme le plus net.

Ce dernier point se vérifie dans les statistiques d’exploration de votre outil de suivi de recherche, dont l’exploitation est détaillée dans notre guide de la Search Console.

Les deux facteurs

Ce que votre serveur supporte

Le moteur augmente son rythme tant que le serveur répond vite, et le réduit dès que les temps de réponse se dégradent ou que des erreurs apparaissent. Améliorer les performances augmente donc directement le nombre de pages explorées — c’est le levier le plus direct, traité dans nos articles sur l’accélération d’un site et sur le choix de l’hébergement.

L’intérêt que le moteur porte à vos pages

Un site dont les contenus sont jugés utiles et régulièrement mis à jour est visité plus souvent. Un site dont l’essentiel des pages est redondant ou sans valeur voit son exploration se réduire, indépendamment de sa vitesse.

C’est le point contre-intuitif : le budget d’exploration n’est pas seulement une contrainte technique, c’est aussi un jugement. Publier massivement des pages sans valeur réduit l’exploration de celles qui en ont.

Les cinq leviers

1. Supprimer les URL inutiles. Le levier principal, et de loin. Bloquez la recherche interne et les combinaisons de filtres, excluez les archives sans valeur, et faites porter une canonique aux adresses à paramètres. Les réglages sont détaillés dans notre article sur le fichier d’exclusion et le plan de site.
2. Réduire la profondeur. Une page à trois clics est explorée régulièrement ; une page à quinze clics ne l’est presque jamais. C’est tout l’enjeu de la pagination et des grandes listes.
3. Accélérer le serveur. Effet direct et mesurable sur le nombre de pages parcourues.
4. Nettoyer les redirections et les erreurs. Chaque chaîne de redirection consomme plusieurs requêtes pour une seule page utile, comme expliqué dans notre article sur la gestion des redirections.
5. Tenir le plan de site propre. Uniquement des pages indexables qui répondent. Un plan de site rempli d’erreurs perd la confiance qui lui est accordée.

Ce qui ne sert à rien

• Demander l’indexation page par page. Utile pour une correction ponctuelle, sans effet sur un problème de volume.
• Soumettre le plan de site à répétition. Une fois suffit ; il est relu automatiquement.
• Ajouter des liens internes vers des pages sans valeur. Vous les faites explorer davantage, au détriment des autres.
• Multiplier les plans de site. Le découpage par type de contenu est utile pour le diagnostic, pas pour l’exploration elle-même.

Le cas concret d’un annuaire

Prenez un annuaire de cinq mille fiches. Ajoutez les catégories, la pagination, trois filtres combinables, trois ordres de tri et la recherche interne : vous pouvez dépasser plusieurs dizaines de milliers d’adresses accessibles, dont cinq mille seulement ont une valeur propre.

Le robot ne fait pas la différence sans votre aide. Il parcourt ce qu’il trouve, consomme son passage sur des variantes de listes, et laisse une part importante des fiches jamais visitées. C’est ainsi qu’un annuaire se retrouve avec quelques centaines de fiches indexées sur cinq mille.

La correction est mécanique : bloquer les filtres et le tri, découper les catégories trop larges, ajouter des liens entre fiches, lister les fiches dans le plan de site. Aucune de ces actions ne demande de compétence particulière, et leur effet cumulé est considérable.

Questions fréquentes

Pour aller plus loin