Skip to main content
CheckTown

Generator Robots.txt

Twórz pliki robots.txt z regułami user-agent, sitemapami i dyrektywami crawlowania

Szablon

Reguły

Dyrektywa

Dowiedz się więcej

Generator robots.txt: Kontrola indeksowania witryny przez wyszukiwarki

Poznaj składnię robots.txt, twórz reguły dla wyszukiwarek i robotów AI.

Czym jest robots.txt?

robots.txt to plik tekstowy umieszczony w katalogu głównym strony internetowej, ktory informuje roboty sieciowe, ktore strony moga lub nie moga odwiedzac. Stosuje Protokół Wykluczania Robotow, standard od 1994 roku.

Najczęściej zadawane pytania