Skip to main content
CheckTown

Generatore di Robots.txt

Crea file robots.txt con regole user-agent, sitemap e direttive di scansione

Modello

Regole

Direttiva

Per saperne di più

Generatore robots.txt: Controllare il crawling dei motori di ricerca

Impara la sintassi robots.txt, crea regole per motori di ricerca e crawler IA.

Cos'e robots.txt?

robots.txt e un file di testo posizionato nella root di un sito web che indica ai crawler quali pagine possono o non possono accedere. Segue il Protocollo di Esclusione dei Robot, uno standard dal 1994.

6 min di letturaLeggi la guida completa

Domande frequenti