Crawlbudget: waarschuwingssignalen, verspilling en tegenmaatregelen
Wanneer crawlbudget relevant is, waar budget verloren gaat, de volgorde van maatregelen en wat crawlbudget niet oplost.
Crawlbudget is een begrip dat vaak als excuus dient (“Google crawlt ons te weinig”) en soms een echt probleem is. Het onderscheid is eenvoudig: er is sprake van een crawlingknelpunt wanneer goede pagina’s door slechte pagina’s niet worden bezocht.
Eerst: raakt het u überhaupt?
De beslissende vraag is niet het aantal pagina’s, maar de verhouding tussen benodigde crawls en beschikbaar budget.
Bij 50 pagina’s met dagelijkse wijzigingen is crawlbudget geen onderwerp. Bij 20.000 URL’s, waarvan 1.500 waardevol, is het dat wel.
| Grootte | Pagina’s | Relevantie |
|---|---|---|
| Klein | onder 500 | praktisch geen onderwerp |
| Middel | 500–5.000 | alleen bij veel duplicaten |
| Groot | boven 5.000 | regelmatig controleren |
Waarschuwingssignalen
- Nieuwe producten worden pas na weken geïndexeerd
- Prijswijzigingen verschijnen vertraagd in zoekresultaten
- In de Search Console: veel pagina’s “gedetecteerd, maar niet geïndexeerd”
- Hoog aandeel pagina’s dat nooit een crawl heeft gekregen
Waar budget verloren gaat
Facetten en parameters. Kleur- en maatcombinaties produceren duizenden URL’s met vrijwel identieke inhoud.
Tag- en auteurarchieven. Bij weinig berichten ontstaan veel dunne pagina’s.
Paginering. Diepe paginering zonder inhoudelijke waarde.
Historische URL’s. Oude paden die noch 301 noch 410 leveren.
Interne zoekresultaten. Elke zoekopdracht produceert een nieuwe URL.
Functionele pagina’s. Winkelwagen, account, afrekenen – wanneer ze niet zijn uitgesloten.
Volgorde van maatregelen
- Functionele pagina’s op
noindexzetten of via robots.txt uitsluiten - Interne zoekresultaten blokkeren
- Facetten beperken (maximaal twee, geen combinatie van dezelfde groepen)
- Tagarchieven controleren: alleen behouden bij echte inhoud
- Dode URL’s opruimen: 301 bij een equivalent, 410 bij definitief verwijderd
- Sitemap terugbrengen tot indexeerbare pagina’s
- Pas daarna nadenken over de omvang van de content
De volgorde is bewust zo gekozen: eerst de goedkope, eenduidige maatregelen, dan de structurele.
Wat crawlbudget niet oplost
Wanneer goede pagina’s niet ranken, ligt het zelden aan het crawlen. Vaker aan inhoud, interne linkstructuur of concurrentie.
Een test: wanneer de betrokken pagina’s in de Search Console vertoningen laten zien maar slechte posities, is het crawlen in orde – het probleem ligt elders.
Meting
De Search Console levert onder “Instellingen → Crawlstatistieken” het aantal crawlaanvragen. Zinvol is het verloop, niet de dagwaarde.
Interessanter dan het absolute getal is de verdeling: hoeveel crawls vallen op productpagina’s, hoeveel op parameter-URL’s? Verschuift de verhouding na een wijziging, dan was de maatregel effectief.
Conclusie
Crawlbudget is een optimalisatieprobleem voor middelgrote en grote winkels. Voor kleine winkels is het meestal een onderwerp dat van de eigenlijke taken afleidt.
Wie wil controleren of het relevant is, heeft twee getallen nodig: het aantal URL’s dat geïndexeerd moet worden en het aantal URL’s dat daadwerkelijk bestaat. Wijkt dat duidelijk af, dan loont het om ermee bezig te zijn.
Structuur en opschoning horen bij technische SEO, doorgaans samen met facetregels en sitemaponderhoud.