Súbor robots.txt slúži na informovanie vyhľadávacích robotov (tzv. crawlerov), ku ktorým stránkam majú prístup, aby ich zaradili do svojho indexu a zobrazovali vo výsledkoch vyhľadávania. Je to prvá vec, ktorú otvorí crawler, keď príde na vašu stránku a podľa nej sa potom na stránke riadi. Defaultne majú roboti crawlovanie povolené a stiahnú si všetko, čo nie je pre nich vyslovene zakázané.
V robots.txt generátor môžete zakázať blokovanie jednotlivých adresárov a stránok - využíva sa relatívna cesta (bez http protokolu a domény). Keď chcete napríklad zablokovať prístup robotom ku všetkému, čo je v adresári core, tak stačí do kolónky v sekcii zakázané adresáre napísať /core/
Takisto si viete zvoliť, ktorým konkrétnym robotom chcete zakázať prístup.
Vytvorený súbor si môžete pozrieť a následne stiahnúť a nahrať do koreňového adresára na vašom webhostingu.