Crawl-Budget: Warnsignale, Verschwendung und Gegenmaßnahmen
Wann Crawl-Budget wirklich relevant ist, wo es verloren geht und eine Reihenfolge von Maßnahmen nach Aufwand.
Crawl-Budget ist ein Begriff, der oft als Ausrede dient („Google crawlt uns zu wenig”) und manchmal ein echtes Problem ist. Die Unterscheidung ist einfach: Ein Crawling-Engpass liegt vor, wenn gute Seiten wegen schlechter Seiten nicht besucht werden.
Zuerst: Betrifft es Sie überhaupt?
Die entscheidende Frage ist nicht die Zahl der Seiten, sondern das Verhältnis zwischen benötigten Crawls und verfügbarem Budget.
Bei 50 Seiten und täglicher Änderung ist Crawl-Budget kein Thema. Bei 20.000 URLs, davon 1.500 mit Wert, ist es eines.
| Größe | Seiten | Relevanz |
|---|---|---|
| Klein | unter 500 | praktisch kein Thema |
| Mittel | 500–5.000 | nur bei vielen Duplikaten |
| Groß | über 5.000 | regelmäßig prüfen |
Warnsignale
- Neue Produkte werden erst nach Wochen indexiert
- Preisänderungen erscheinen verzögert in Suchergebnissen
- In der Search Console: viele Seiten „entdeckt, aber nicht indexiert”
- Hoher Anteil an Seiten, die nie einen Crawl erhalten haben
Wo Budget verloren geht
Facetten und Parameter. Farb- und Größenkombinationen erzeugen tausende URLs mit nahezu identischem Inhalt.
Tag- und Autorenarchive. Bei wenigen Beiträgen entstehen viele dünne Seiten.
Paginierung. Tiefe Paginierung ohne Inhaltswert.
Historische URLs. Alte Pfade, die weder 301 noch 410 liefern.
Interne Suchergebnisse. Jede Suchanfrage erzeugt eine neue URL.
Funktionale Seiten. Warenkorb, Konto, Checkout – wenn sie nicht ausgeschlossen sind.
Reihenfolge der Maßnahmen
- Funktionale Seiten auf
noindexoder aus robots.txt ausschließen - Interne Suchergebnisse sperren
- Facetten begrenzen (maximal zwei, keine Kombination gleicher Gruppen)
- Tag-Archive prüfen: behalten nur bei echtem Inhalt
- Tote URLs aufräumen: 301 bei Entsprechung, 410 bei endgültig entfernt
- Sitemap auf indexierbare Seiten reduzieren
- Erst danach über Content-Umfang nachdenken
Die Reihenfolge ist bewusst so gewählt: erst die billigen, eindeutigen Maßnahmen, dann die strukturellen.
Was Crawl-Budget nicht löst
Wenn gute Seiten nicht ranken, liegt es selten am Crawling. Häufiger an Inhalt, interner Verlinkung oder Wettbewerb.
Ein Test: Wenn die betroffenen Seiten in der Search Console Impressions zeigen, aber schlechte Positionen, ist das Crawling in Ordnung – das Problem liegt woanders.
Messung
Die Search Console liefert unter „Einstellungen → Crawling-Statistik” die Anzahl der Crawl-Anfragen. Sinnvoll ist der Verlauf, nicht der Tageswert.
Interessanter als die absolute Zahl ist die Verteilung: Wie viele Crawls entfallen auf Produktseiten, wie viele auf Parameter-URLs? Verschiebt sich das Verhältnis nach einer Änderung, war die Maßnahme wirksam.
Fazit
Crawl-Budget ist ein Optimierungsproblem für mittlere und große Shops. Für kleine Shops ist es meist ein Thema, das von den eigentlichen Aufgaben ablenkt.
Wer prüfen will, ob es relevant ist, braucht zwei Zahlen: Anzahl der URLs, die indexiert werden sollen, und Anzahl der URLs, die tatsächlich existieren. Weicht das deutlich ab, lohnt die Beschäftigung.
Struktur und Bereinigung gehören zum technischen SEO, üblicherweise zusammen mit Facetten-Regeln und Sitemap-Pflege.