W procesach SEO kluczowym elementem jest przyciągnięcie na swoją stronę internetową robotów Google, które są w stanie ją zaindeksować. Odpowiednie wykorzystanie tego mechanizmu przekłada się bezpośrednio na wyniki w SEO. Częstotliwość wizyt robotów indeksujących jest jednak związana z crawl budget, czyli budżetem indeksowania. Jak nim zarządzać, by działać na swoją korzyść zamiast utrudniać kolejne optymalizacje?

CRAWL BUDGET – DEFINICJA. CZYM JEST CRAWL BUDGET?

Definicja crawl budgetu zakłada, że jest to poziom zainteresowania, jaki wykazują wyszukiwarki względem danej strony. Najczęściej wyrażany jest on jako liczba stron lub adresów URL pochodzących z danej witryny, które Googlebot może chcieć odwiedzić i zaindeksować w danym czasie. Im crawl budget jest większy, tym częściej strona jest indeksowana, a jej treści analizowane.

Na crawl budget mają wpływ dwa unikalne czynniki niespotykane w żadnej innej sferze pozycjonowania stron internetowych. Są to:

• Crawl Demand – zapotrzebowanie na indeksowanie strony internetowej. Jest ono zależne od popularności strony i ilości wizyt pochodzących od realnych użytkowników, a także od częstych aktualizacji treści. Im wyższy crawl demand, tym większa szansa, że crawl budget będzie rósł.
• Crawl Rate Limit – limit indeksowania, czyli maksymalna liczba wejść na stronę przez roboty indeksujące. Crawl Rate Limit ma za zadanie zapobiegać zbyt dużej ilości zapytań ze strony Google, a co za tym idzie, przeciążeniu serwera. Można go zmienić w Search Console’u – jeśli Crawl Rate Limit jest sztucznie ustawiony na zbyt mały, może to powodować poważne problemy z indeksowaniem.

Połączenie tych dwóch wskaźników określa orientacyjna liczbę wejść na stronę, którą roboty indeksujące będą chciały wykonać w danym czasie. Wyznaczenie crawl budgetu jest konieczne, gdyż wyszukiwarki nie mają nielimitowanych zasobów. Jednocześnie ciągle muszą one w możliwie optymalny sposób zbierać informacje o zawartości stron – stąd przypisanie do nich odpowiednich częstotliwości indeksowania.

CO WPŁYWA NA CRAWL BUDGET STRONY INTERNETOWEJ?

Crawl budget to jednak coś więcej niż tylko ustawienie limitu wejść na stronę dla robotów Google. Googleboty są bowiem przyciągane do danej witryny i wszystkich jej podstron przede wszystkim przez kondycję samej strony. Dany portal można przygotować tak, aby był on bardziej atrakcyjny dla botów. Te najczęściej są zainteresowane cechami takimi jak:

1. Dobry stan techniczny strony. Szybkie ładowanie, brak błędów i przestojów, funkcjonalność.
2. Autorytet strony. Wysokie wyniki w narzędziach analitycznych, wysokiej jakości linkowanie.
3. Obecność mapy strony. To ogromne ułatwienie dla robotów indeksujących.
4. Częste aktualizacje treści. Strona, na której niewiele się dzieje, nie będzie przyciągać kolejnych wizyt robotów Google.
5. Struktura witryny. Proste menu, intuicyjnie znajdowane pola i logiczne ułożone kategorie wpływają nie tylko na zadowolenie klientów, ale też na większy crawl budget.
6. Możliwości indeksowania. Blokowanie niektórych podstron (np. koszyka, polityki prywatności, itp.) pozytywnie wpływa na wizerunek strony i jednocześnie sprawia, że nie występuje na niej duplikacja czy inne negatywne zjawiska.
7. Odpowiednie przekierowania. Korzystanie z przekierowań stałych zamiast tymczasowych oraz starannie przeprowadzone migracje strony to klucz do zachęcenia robotów do dalszej eksploracji strony.
8. Atrybuty linków. Oznacz jako NF strony, które Googlebot powinien ominąć podczas przeglądania strony. Zaoszczędzisz tym samym crawl budget.
9. Czytelne treści.  content marketing ma ogromne znaczenie w SEO – a roboty Google doskonale potrafią go zauważyć i docenić.
10. Linkowanie wewnętrzne. Masz już tekst na swojej stronie? Wykorzystaj je, by umieścić odnośniki do innych podstron. Dzięki temu masz większą szansę, że Google także i je odwiedzi.

SPRAWDŹ SWÓJ CRAWL BUDGET – INSTRUKCJA KROK PO KROKU

Sprawdzenie crawl budgetu można bez większych problemów wykonać w Search Console’u przeznaczonym dla danej strony internetowej. Aby to zrobić, należy otworzyć główny panel, a następnie z menu po lewej stronie ekranu wybrać opcję „Starsze narzędzia i raporty”. Po jej rozwinięciu należy kliknąć w pole „Dowiedz się więcej”.

Po kliknięciu po prawej stronie ekranu wyświetli się dodatkowy pasek pomocy. Należy na nim wyszukwać pole „Statystyki indeksowania” (najczęściej jest on widoczny po przescrollowaniu okna w górę).

Po kliknięciu w podświetlony na niebiesko napis Search Console przeniesie nas do okna, w którym znajdziemy wykres z trzema wartościami. Są to:

• Liczba żądań robota indeksującego, czyli ilość wizyt robota Google na naszej stronie w danym dniu. To właśnie ona określana jest jako crawl budget, czyli budżet indeksowania.
• Łączny rozmiar do pobrania w bajtach, czyli ilość pobranych przez Googlebota danych. Jeśli wartość jest duża, ale strona nie wykazuje cech nieprawidłowego działania, wszystko jest w porządku.
• Średni czas reakcji na zapytanie. Im ta wartość jest mniejsza, tym jest lepsza.

Te informacje pozwalają nam niemal w czasie rzeczywistym zobaczyć, jakim zainteresowaniem robotów Google cieszy się dana strona.

DLACZEGO WARTO ZADBAĆ O CRAWL BUDGET STRONY?

Codziennie o uwagę Googlebota walczą setki tysięcy stron o różnej tematyce. Google dysponuje jednak ograniczonymi zasobami. Jedynym sposobem rezerwacji regularnych wejść jest właśnie zadbanie o swój crawl budget. Im będzie on wyższy, tym większa szansa, że wyszukiwarka szybciej zauważy Twoją ofertę czy zmiany na stronie.

Dodatkowo crawl budget ma również ogromne znaczenie dla firm, które oferują sezonowe kategorie produktów, jak np. dekoracje świąteczne czy prezenty komunijne. Wysoki budżet indeksowania pozwala bowiem na szybkie odkrycie nowych podstron przez wyszukiwarkę i wyświetlenie ich na wysokich pozycjach przed końcem popytu na dany produkt czy usługę.

Nie oznacza to jednak, że crawl budget powinien interesować właścicieli strony internetowych tylko od święta. Wysoki budżet indeksowania niezmiennie jest i pozostanie absolutną podstawą pozycjonowania stron internetowych – bez niego uzyskanie dużego ruchu organicznego i zwiększenie liczby konwersji będzie niemalże niemożliwe. W związku z tym jego zachowanie i ulepszanie powinno być w interesie każdego właściciela strony, któremu po prostu zależy na dobrych wynikach