Budget de crawl : signaux d’alerte, gaspillage et contre-mesures
Quand le budget de crawl devient un vrai sujet, où il se perd (facettes, archives, pagination, URL historiques) et l'ordre des mesures à appliquer.
Le budget de crawl est une notion qui sert souvent d’excuse (« Google nous explore trop peu ») et qui est parfois un vrai problème. La distinction est simple : il y a goulot d’exploration quand de bonnes pages ne sont pas visitées à cause de mauvaises pages.
D’abord : est-on concerné ?
La question décisive n’est pas le nombre de pages, mais le rapport entre les explorations nécessaires et le budget disponible.
Avec 50 pages et des changements quotidiens, le budget de crawl n’est pas un sujet. Avec 20 000 URL dont 1 500 ont de la valeur, il en est un.
| Taille | Pages | Pertinence |
|---|---|---|
| Petite | moins de 500 | pratiquement sans objet |
| Moyenne | 500–5 000 | uniquement en cas de nombreux doublons |
| Grande | plus de 5 000 | à vérifier régulièrement |
Signaux d’alerte
- Les nouveaux produits ne sont indexés qu’au bout de plusieurs semaines
- Les changements de prix apparaissent avec retard dans les résultats de recherche
- Dans la Search Console : de nombreuses pages « découvertes, mais non indexées »
- Part élevée de pages qui n’ont jamais été explorées
Où le budget se perd
Facettes et paramètres. Les combinaisons de couleur et de taille génèrent des milliers d’URL au contenu presque identique.
Archives d’étiquettes et d’auteurs. Avec peu d’articles, elles produisent beaucoup de pages pauvres.
Pagination. Pagination profonde sans valeur de contenu.
URL historiques. Anciens chemins qui ne renvoient ni 301 ni 410.
Résultats de recherche internes. Chaque requête génère une nouvelle URL.
Pages fonctionnelles. Panier, compte, tunnel de commande – lorsqu’elles ne sont pas exclues.
Ordre des mesures
- Exclure les pages fonctionnelles via
noindexou dans robots.txt - Bloquer les résultats de recherche internes
- Limiter les facettes (deux au maximum, aucune combinaison de groupes identiques)
- Examiner les archives d’étiquettes : ne les conserver qu’en cas de contenu réel
- Nettoyer les URL mortes : 301 en cas d’équivalence, 410 en cas de suppression définitive
- Réduire le plan de site aux pages indexables
- Seulement ensuite, réfléchir au volume de contenu
Cet ordre est volontaire : d’abord les mesures peu coûteuses et sans ambiguïté, ensuite les mesures structurelles.
Ce que le budget de crawl ne résout pas
Si les bonnes pages ne se classent pas, la cause est rarement l’exploration. Plus souvent le contenu, le maillage interne ou la concurrence.
Un test : si les pages concernées affichent des impressions dans la Search Console mais de mauvaises positions, l’exploration est correcte – le problème est ailleurs.
Mesure
La Search Console fournit le nombre de requêtes d’exploration sous « Paramètres → Statistiques d’exploration ». C’est l’évolution qui compte, pas la valeur du jour.
Plus intéressante que le chiffre absolu est la répartition : combien d’explorations portent sur des fiches produit, combien sur des URL à paramètres ? Si le rapport se déplace après une modification, la mesure a fonctionné.
Conclusion
Le budget de crawl est un problème d’optimisation pour les boutiques moyennes et grandes. Pour les petites, c’est le plus souvent un sujet qui détourne des tâches réelles.
Pour savoir s’il est pertinent, deux chiffres suffisent : le nombre d’URL destinées à l’indexation et le nombre d’URL qui existent réellement. Un écart important justifie de s’y intéresser.
Structure et nettoyage relèvent du SEO technique, généralement avec les règles de facettes et l’entretien du plan de site.