Čo je robots.txt

---

Robots.txt súbor je súbor, ktorý je uložený na webovom serveri a slúži na informovanie vyhľadávačov o tom, ktoré súbory alebo adresáre na webe by mali alebo nemali byť prehľadávané a indexované. Toto je dôležité preto, že existujú súbory alebo oblasti na webe, ktoré by ste nechceli, aby sa objavili v výsledkoch vyhľadávania. Napríklad, ak máte súkromnú stránku alebo stránku, ktorá je len pre interné použitie, môžete použiť robots.txt súbor na to, aby ste zabránili vyhľadávačom v indexovaní tejto stránky.

Robots.txt súbor sa nachádza v hlavnom adresári webovej stránky a môže byť otvorený pomocou akéhokoľvek webového prehliadača. Napríklad, ak chcete otvoriť robots.txt súbor pre webovú stránku "www.example.com", môžete zadať adresu "www.example.com/robots.txt" do prehliadača.

Robots.txt súbor obsahuje pokyny pre vyhľadávače v tvare "pravidiel", ktoré určujú, ktoré súbory alebo adresáre by mali alebo nemali byť indexované. Pravidlá sú zapísané v nasledujúcom tvare:

User-agent: [meno vyhľadávača]
Disallow: [adresár alebo súbor]

Napríklad, pravidlo:

User-agent: Googlebot
Disallow: /private/

by znamenalo, že Googlebot by nemal indexovať súbory alebo adresáre v adresári "private".

Je dôležité mať na pamäti, že robots.txt súbor nie je záväzný pre vyhľadávače a nemusia sa mu vždy riadiť. Preto je dôležité zvážiť, či chcete skutočne zabrániť indexovaniu určitých súborov alebo adresárov, alebo či je lepšie použiť iné metódy ako napríklad pridanie metatagov "noindex" do HTML kódu stránky.

Ako vytvoriť Robots.txt súbor

Vytvorenie robots.txt súboru je veľmi jednoduché a môžete to urobiť pomocou akéhokoľvek textového editoru, ako je napríklad Notepad v systéme Windows alebo TextEdit v systéme Mac.

Takto by ste mali vytvoriť váš robots.txt súbor krok za krokom:

1. Otvorte textový editor a vytvorte nový súbor.
2. Do súboru zadajte pravidlá pre vyhľadávače v nasledujúcom tvare: "User-agent: [meno vyhľadávača] Disallow: [adresár alebo súbor]". Napríklad, pravidlo "User-agent: Googlebot Disallow: /private/" by znamenalo, že Googlebot by nemal indexovať súbory alebo adresáre v adresári "private".
3. Ak chcete zabrániť indexovaniu viacerých súborov alebo adresárov, jednoducho pridajte ďalšie pravidlá pod prvé pravidlo.
4. Uložte súbor ako "robots.txt". Dôležité je, aby ste presne zadali názov súboru, inak to nebude fungovať.
5. Následne súbor nahrajte do hlavného adresára vašej webovej stránky. Ak už máte robots.txt súbor v hlavnom adresári, prepíšte ho novým súborom.

To je všetko! Teraz keď vyhľadávače navštívia vašu webovú stránku, prečítajú si pokyny v robots.txt súbore a budú sa riadiť podľa nich pri indexovaní súborov a adresárov na vašej stránke.