Robots.txt Generator
Create robots.txt files with user-agent rules, sitemaps, and crawl directives
Template
Rules
Directive
Ctrl+Enter выполнитьCtrl+Shift+C скопировать
Узнать больше
Генератор robots.txt: Контроль сканирования сайта поисковыми системами
Изучите синтаксис robots.txt, создайте правила для поисковых систем и ИИ-роботов.
Что такое robots.txt?
robots.txt — это обычный текстовый файл, размещённый в корне сайта, который сообщает поисковым роботам, какие страницы им разрешено или запрещено посещать. Он следует Протоколу исключения роботов, стандарту с 1994 года.
6 мин чтенияЧитать полное руководство