Generatore di Robots.txt
Crea file robots.txt con regole user-agent, sitemap e direttive di scansione
Modello
Regole
Direttiva
Ctrl+Enter eseguireCtrl+Shift+C copiare
Per saperne di più
Generatore robots.txt: Controllare il crawling dei motori di ricerca
Impara la sintassi robots.txt, crea regole per motori di ricerca e crawler IA.
Cos'e robots.txt?
robots.txt e un file di testo posizionato nella root di un sito web che indica ai crawler quali pagine possono o non possono accedere. Segue il Protocollo di Esclusione dei Robot, uno standard dal 1994.
6 min di letturaLeggi la guida completa