Skip to main content
CheckTown

Generator Robots.txt

Twórz pliki robots.txt z regułami user-agent, sitemapami i dyrektywami crawlowania

Szablon

Reguły

Dyrektywa

Dowiedz się więcej

Generator robots.txt: Kontrola indeksowania witryny przez wyszukiwarki

Poznaj skladnie robots.txt, twórz reguly dla wyszukiwarek i robotów AI.

Czym jest robots.txt?

robots.txt to plik tekstowy umieszczony w katalogu glownym strony internetowej, ktory informuje roboty sieciowe, ktore strony moga lub nie moga odwiedzac. Stosuje Protokol Wykluczania Robotow, standard od 1994 roku.

Najczęściej zadawane pytania