Budżet crawlowania: sygnały ostrzegawcze, marnotrawstwo i działania
Kiedy budżet crawlowania ma znaczenie, sygnały ostrzegawcze, fasety i parametry, kolejność działań i pomiar w Search Console.
Budżet crawlowania to pojęcie, które bywa wymówką („Google za rzadko nas crawluje”), a czasem jest realnym problemem. Rozróżnienie jest proste: wąskie gardło crawlowania występuje wtedy, gdy dobre strony nie są odwiedzane z powodu złych stron.
Najpierw: czy dotyczy to w ogóle tego sklepu?
Decydujące nie jest liczba stron, lecz stosunek potrzebnych crawli do dostępnego budżetu.
Przy 50 stronach i codziennych zmianach budżet crawlowania nie jest tematem. Przy 20 000 adresów URL, z których 1 500 ma wartość, jest.
| Rozmiar | Strony | Istotność |
|---|---|---|
| Mały | poniżej 500 | praktycznie nieistotne |
| Średni | 500–5 000 | tylko przy wielu duplikatach |
| Duży | powyżej 5 000 | sprawdzać regularnie |
Sygnały ostrzegawcze
- nowe produkty są indeksowane dopiero po tygodniach
- zmiany cen pojawiają się w wynikach z opóźnieniem
- w Search Console wiele stron ma status „wykryta, ale niezaindeksowana”
- wysoki udział stron, które nigdy nie zostały scrawlowane
Gdzie ginie budżet
Fasety i parametry. Kombinacje kolorów i rozmiarów tworzą tysiące adresów URL o niemal identycznej treści.
Archiwa tagów i autorów. Przy niewielu wpisach powstaje wiele cienkich stron.
Paginacja. Głęboka paginacja bez wartości treściowej.
Historyczne adresy URL. Stare ścieżki, które nie zwracają ani 301, ani 410.
Wewnętrzne wyniki wyszukiwania. Każde zapytanie tworzy nowy adres URL.
Strony funkcjonalne. Koszyk, konto, checkout – jeśli nie są wyłączone.
Kolejność działań
- Strony funkcjonalne ustawić na
noindexalbo wyłączyć w robots.txt - Zablokować wewnętrzne wyniki wyszukiwania
- Ograniczyć fasety (maksymalnie dwie, bez kombinacji tych samych grup)
- Sprawdzić archiwa tagów: zostawić tylko przy rzeczywistej treści
- Posprzątać martwe adresy: 301 przy odpowiedniku, 410 przy trwałym usunięciu
- Zredukować sitemapę do stron indeksowalnych
- Dopiero potem myśleć o zakresie treści
Kolejność jest wybrana świadomie: najpierw tanie, jednoznaczne działania, potem strukturalne.
Czego budżet crawlowania nie rozwiązuje
Jeśli dobre strony nie rankują, rzadko wynika to z crawlowania. Częściej z treści, linkowania wewnętrznego albo konkurencji.
Test: jeśli omawiane strony pokazują w Search Console wyświetlenia, ale słabe pozycje, crawling jest w porządku – problem leży gdzie indziej.
Pomiar
Search Console podaje w „Ustawienia → Statystyki crawlowania” liczbę żądań crawlowania. Sensowny jest przebieg w czasie, nie wartość dzienna.
Ciekawszy niż liczba bezwzględna jest rozkład: ile crawli przypada na strony produktów, a ile na adresy z parametrami? Jeśli po zmianie proporcja się przesuwa, działanie było skuteczne.
Podsumowanie
Budżet crawlowania to problem optymalizacyjny dla średnich i dużych sklepów. Dla małych sklepów to zwykle temat odwracający uwagę od właściwych zadań.
Kto chce sprawdzić, czy jest istotny, potrzebuje dwóch liczb: liczby adresów URL, które mają być indeksowane, i liczby adresów URL, które faktycznie istnieją. Jeśli różnica jest wyraźna, warto się tym zająć.
Struktura i porządki należą do technicznego SEO, zwykle razem z regułami faset i utrzymaniem sitemapy.