Kostenloses 20-Punkte-Audit für Export-Shops — Kostenloses Website-Audit — Jetzt anfordern

hello@woo.one Montag–Freitag · 9:00–18:00 (UTC+8)

Crawl-Budget: Warnsignale, Verschwendung und Gegenmaßnahmen

Wann Crawl-Budget wirklich relevant ist, wo es verloren geht und eine Reihenfolge von Maßnahmen nach Aufwand.

Crawl-Budget ist ein Begriff, der oft als Ausrede dient („Google crawlt uns zu wenig”) und manchmal ein echtes Problem ist. Die Unterscheidung ist einfach: Ein Crawling-Engpass liegt vor, wenn gute Seiten wegen schlechter Seiten nicht besucht werden.

Zuerst: Betrifft es Sie überhaupt?

Die entscheidende Frage ist nicht die Zahl der Seiten, sondern das Verhältnis zwischen benötigten Crawls und verfügbarem Budget.

Bei 50 Seiten und täglicher Änderung ist Crawl-Budget kein Thema. Bei 20.000 URLs, davon 1.500 mit Wert, ist es eines.

Größe Seiten Relevanz
Klein unter 500 praktisch kein Thema
Mittel 500–5.000 nur bei vielen Duplikaten
Groß über 5.000 regelmäßig prüfen

Warnsignale

  • Neue Produkte werden erst nach Wochen indexiert
  • Preisänderungen erscheinen verzögert in Suchergebnissen
  • In der Search Console: viele Seiten „entdeckt, aber nicht indexiert”
  • Hoher Anteil an Seiten, die nie einen Crawl erhalten haben

Wo Budget verloren geht

Facetten und Parameter. Farb- und Größenkombinationen erzeugen tausende URLs mit nahezu identischem Inhalt.

Tag- und Autorenarchive. Bei wenigen Beiträgen entstehen viele dünne Seiten.

Paginierung. Tiefe Paginierung ohne Inhaltswert.

Historische URLs. Alte Pfade, die weder 301 noch 410 liefern.

Interne Suchergebnisse. Jede Suchanfrage erzeugt eine neue URL.

Funktionale Seiten. Warenkorb, Konto, Checkout – wenn sie nicht ausgeschlossen sind.

Reihenfolge der Maßnahmen

  1. Funktionale Seiten auf noindex oder aus robots.txt ausschließen
  2. Interne Suchergebnisse sperren
  3. Facetten begrenzen (maximal zwei, keine Kombination gleicher Gruppen)
  4. Tag-Archive prüfen: behalten nur bei echtem Inhalt
  5. Tote URLs aufräumen: 301 bei Entsprechung, 410 bei endgültig entfernt
  6. Sitemap auf indexierbare Seiten reduzieren
  7. Erst danach über Content-Umfang nachdenken

Die Reihenfolge ist bewusst so gewählt: erst die billigen, eindeutigen Maßnahmen, dann die strukturellen.

Was Crawl-Budget nicht löst

Wenn gute Seiten nicht ranken, liegt es selten am Crawling. Häufiger an Inhalt, interner Verlinkung oder Wettbewerb.

Ein Test: Wenn die betroffenen Seiten in der Search Console Impressions zeigen, aber schlechte Positionen, ist das Crawling in Ordnung – das Problem liegt woanders.

Messung

Die Search Console liefert unter „Einstellungen → Crawling-Statistik” die Anzahl der Crawl-Anfragen. Sinnvoll ist der Verlauf, nicht der Tageswert.

Interessanter als die absolute Zahl ist die Verteilung: Wie viele Crawls entfallen auf Produktseiten, wie viele auf Parameter-URLs? Verschiebt sich das Verhältnis nach einer Änderung, war die Maßnahme wirksam.

Fazit

Crawl-Budget ist ein Optimierungsproblem für mittlere und große Shops. Für kleine Shops ist es meist ein Thema, das von den eigentlichen Aufgaben ablenkt.

Wer prüfen will, ob es relevant ist, braucht zwei Zahlen: Anzahl der URLs, die indexiert werden sollen, und Anzahl der URLs, die tatsächlich existieren. Weicht das deutlich ab, lohnt die Beschäftigung.

Struktur und Bereinigung gehören zum technischen SEO, üblicherweise zusammen mit Facetten-Regeln und Sitemap-Pflege.

S

Infrastructure and security engineer at woo.one, based in Foshan, China. Works on WordPress, WooCommerce and OpenCart systems, self-hosted mail, and the operational side of running stores for exporters.

Mehr über unser Team

Kein Druck · Keine Verkaufsgespräche

Sind Sie bereit für einen Online-Shop, der auch in Ihrem Schlaf verkauft?

Senden Sie uns Ihre aktuelle Website oder Produktliste. Innerhalb von zwei Werktagen erhalten Sie ein Angebot mit klar definierten Leistungen, eine 20-Punkte-Audit sowie einen realistischen Zeitplan.

Antwort innerhalb eines Werktags NDA auf Anfrage 100‑Prozentiger Codeeigentumsanspruch
Mit uns chatten
WhatsApp Kostenanfrage stellen