Utiliser un crawler : que chercher dans les résultats

Un crawler parcourt votre site comme le ferait un robot d’exploration : il suit vos liens, page après page, et enregistre tout ce qu’il trouve. En dix minutes, il vous donne un état des lieux technique qu’aucune autre méthode ne produit — et il le fait sur l’ensemble du site, pas sur un échantillon.

C’est l’outil au meilleur rapport temps/information du référencement. Voici comment s’en servir sans se noyer dans les colonnes.

Avant de lancer

Trois réglages évitent les mauvaises surprises.

• Limitez la vitesse d’exploration. Un crawler lancé à pleine puissance sur un hébergement mutualisé peut le saturer, voire déclencher un blocage. Réduisez le nombre de requêtes par seconde, surtout sur un annuaire dont chaque page sollicite la base de données.
• Décidez si vous respectez le fichier d’exclusion. Le respecter reproduit ce que voit un robot légitime. L’ignorer vous montre l’ensemble du site, ce qui est utile pour vérifier ce que vous avez bloqué.
• Prévoyez le volume. Les versions gratuites plafonnent à quelques centaines d’adresses, ce qui suffit à la plupart des sites éditoriaux. Un annuaire les dépasse immédiatement : commencez alors par une exploration limitée à une section.

Les six vérifications à faire dans l’ordre

1. Les codes de réponse

Première colonne à trier. Toute erreur sur une page liée depuis votre site est à corriger — non pas en ajoutant une redirection, mais en corrigeant le lien qui pointe au mauvais endroit. Le crawler vous indique justement quelle page contient ce lien.

Les erreurs serveur, elles, signalent autre chose : une saturation, un problème de configuration, ou une page qui plante. Elles ne se corrigent pas côté contenu.

2. Les redirections

Cherchez les chaînes, les boucles, et surtout les liens internes qui transitent par une redirection. Ce dernier point représente généralement le plus gros volume de corrections, et c’est celui qui rapporte le plus. La méthode complète est dans notre article sur la gestion des redirections.

3. Les titres et descriptions

Triez par doublons : plusieurs pages portant le même titre se concurrencent et brouillent leur identité. Repérez ensuite les balises manquantes, puis celles générées automatiquement par le thème. C’est le gisement le plus rapide à exploiter, comme expliqué dans notre article sur le titre et la méta-description.

4. La profondeur de clic

Le crawler indique, pour chaque page, à combien de clics elle se trouve de l’accueil. Toute page importante située au-delà de trois clics mérite un raccourci. Cette colonne révèle souvent que vos pages stratégiques sont enterrées, alors que des archives sans intérêt sont accessibles en deux clics.

5. Les liens internes entrants

Triez par ordre croissant. Les pages à zéro lien entrant sont vos pages orphelines : elles existent dans le plan de site et nulle part ailleurs, et beaucoup finissent classées comme découvertes mais non indexées.

Triez ensuite par ordre décroissant : si vos pages stratégiques ne figurent pas en tête, votre architecture ne dit pas ce que vous croyez. Voyez notre guide du maillage interne.

6. Les canoniques et les directives d’indexation

Vérifiez que chaque page se désigne bien elle-même, sauf intention contraire. Une canonique mal configurée peut faire disparaître des sections entières sans qu’aucun symptôme visible n’apparaisse ailleurs. Contrôlez aussi qu’aucune directive d’exclusion involontaire ne subsiste, notamment après une migration.

Croiser avec vos données de performance

C’est là que l’outil devient réellement puissant. Un crawler vous dit ce qui existe ; votre outil de suivi de recherche vous dit ce qui fonctionne. Le croisement des deux fait apparaître trois situations exploitables.

• Pages avec beaucoup d’impressions et peu de liens internes. Renforcez leur maillage : elles sont proches du résultat et vous les avez laissées seules.
• Pages avec beaucoup de liens internes et aucune impression. Vous distribuez de la valeur vers des contenus qui n’intéressent personne. Réorientez.
• Pages orphelines qui génèrent malgré tout des impressions. Elles fonctionnent sans aucun soutien : imaginez avec.

L’exploitation du rapport de performance est détaillée dans notre guide de la Search Console.

À quel rythme

Une exploration complète par trimestre suffit sur un site stable. Ajoutez-en une systématiquement après tout changement structurel : refonte, migration, changement de thème, modification des adresses. Ce sont les moments où des problèmes apparaissent en masse, et où les détecter tôt évite qu’ils ne s’installent.

Conservez vos exports : comparer deux explorations à six mois d’intervalle montre l’évolution de votre structure bien mieux qu’une photographie isolée.

Questions fréquentes

Pour aller plus loin