Zadajte URL
Veľké množstvo textu a odkazov môže byť neviditeľných pre vyhľadávacích robotov (crawlerov) z dôvodu výskytu Flashu alebo obsahu generovaného pomocou JavaScriptu. Aby ste zistili, ako vidí obsah vašej webovej stránky vyhľadávací robot, pripravili sme pre vás nástroj crawler simulátor. Ten vám nasimuluje crawlera a vo výstupe uvidíte presne to, čo dokáže z vášho webu prečítať a tým pádom aj zaindexovať. Taktiež vám zobrazí hypertextové odkazy, ktoré sú pre neho indexovateľné pri návšteve stránky. Na základe toho sa potom môžete rozhodnúť, či sú medzi tými indexovateľnými stránkami naozaj tie, ktoré chcete, aby zaindexoval. Ak nechcete, aby niektoré stránky zaindexoval, jednoducho na tie stránky vložte do hlavičky zdrojového kódu tento kus kódu:
<meta name="robots" content="noindex,follow" />