Generator Robots.txt
Twórz pliki robots.txt z regułami user-agent, sitemapami i dyrektywami crawlowania
Szablon
Reguły
Dyrektywa
Ctrl+Enter uruchomCtrl+Shift+C kopiuj
Dowiedz się więcej
Generator robots.txt: Kontrola indeksowania witryny przez wyszukiwarki
Poznaj skladnie robots.txt, twórz reguly dla wyszukiwarek i robotów AI.
Czym jest robots.txt?
robots.txt to plik tekstowy umieszczony w katalogu glownym strony internetowej, ktory informuje roboty sieciowe, ktore strony moga lub nie moga odwiedzac. Stosuje Protokol Wykluczania Robotow, standard od 1994 roku.
6 min czytaniaPrzeczytaj pełny poradnik