May
26
Crawl budget a jeho optimalizácia
Crawl budget je jedna z tých vecí, ktoré ľudí s malými webstránkami veľmi netrápia. Avšak keď si vybudujete veľkú a kvalitnú stránku, mali by ste sa začať zaujímať aj o crawl budget vášho webu. Ako teda crawling funguje a čo môže na vašej stránke spôsobiť?
Princíp crawlingu
Crawling funguje tak, že na začiatku dostane crawler, napríklad Googlebot, zoznam URL adries, ktoré má prejsť (prehľadať). V prípade, že si vyberie práve vašu stránku, nájde jej robots.txt súbor, ktorý mu povie, ktoré stránky môže u vás prehľadávať. Ak má povolenie, začne postupne URL adresy crawlovať, čím získava stále nové URL adresy, ktoré sa mu pripisujú do zoznamu. Internetové prehliadače to musia riešiť týmto spôsobom kvôli obrovskému počtu stránok na internete.
Prečo chcete aby sa crawlovalo na vašej stránke?
Možno si poviete, že nechať tak Google a neriešiť to, je dobrý nápad. Pravdou ale ostáva, že ak chcete mať viditeľnú stránku (stránka na prvej strane Googla), je dobré aby crawling prebiehal na čo najväčšom počte podstránok vášho webu. Google si totižto na crawling vyberá stránky, o ktorých vie, že mu dokážu pomôcť a majú prínosné informácie pre používateľov. Ak je vaša stránka indexovaná a Google v nej nenašiel veľa chýb, využije ju. To znamená, že ak na vašej stránke crawling neprebieha, niekde sa stala chyba (zákaz prehľadávania v robots.txt, chybná štruktúra stránky, zlá sitemap.xml).
Čo je crawl budget?
Crawl budget označuje počet URL adries, ktoré Google crawloval na vašej stránke v priebehu jedného dňa. Môžete sa stretnúť aj s udávaním crawl budgetu vo forme času. Vtedy ide o čas, ktorý bol strávením crawlovaním na vašej stránke. V SEO sa väčšinou na tieto údaje používajú pojmy "crawl space" a "crawl time". Samozrejme, crawl budget nie je pre všetky stránky rovnaký. Všeobecne platí, že stránka s vyšším hodnotením bude mať väčší crawl budget ako tá s nižším hodnotením. Opäť to súvisí s tým, či je vaša stránka v dobrom technickom stave a či je dostatočne viditeľná pre botov. Ak chcete zistiť, aký crawl budget má váš web, stačí sa prihlásiť do Google Search Console -> zvoliť stránku -> indexové prehľadávanie -> štatistiky prehľadávania. Uvidíte graf a vedľa neho najvyšší, priemerný a najnižší crawl budget vašej stránky (indexovo prehľadávané stránky za deň). Tam sa dozviete všetky čísla, ktoré sú o crawlovaní potrebné.
Crawl budget optimalizácia
Ak chcete vylepšiť hodnotu svojho crawl budgetu, môžete urobiť niekoľko krokov. Prvým krokom je budovanie webu, ktorý má čo najviac prehľadnú architektúru, takže sa dá prechádzať na podstránky rýchlo a celkovo je štruktúra stránky pre ľudí aj botov prehľadná. Okrem toho je dobré naučiť sa niečo o stratégii linkbuildingu, ktorú následne využijete. Ide o tvorenie spätných odkazov na konkrétne kľúčové slovo, vďaka ktorým sa zvýraznia stránky kde chcete, aby crawling prebiehal najčastejšie. Taktiež je dobré z crawlovania vylúčiť stránky, ktoré na to nie sú určené (prihlasovacie stránky, formuláre, nedôležité filtre...). To môžete urobiť cez súbor robots.txt.
Úplné základy crawlovania a crawl budgetu by ste mali po prečítaní tohto článku chápať. V prípade, že si stránkou nechcete zarábať a máte ju napríklad len pre svoje potešenie, nemusí vás táto téma veľmi trápiť. Ak sa ale snažíte vybudovať známy a úspešný web, znalosti o crawlingu vám s tým môžu pomôcť.
