Robots.txt Generator
Create robots.txt files with user-agent rules, sitemaps, and crawl directives
Template
Rules
Directive
Ctrl+Enter виконатиCtrl+Shift+C скопіювати
Дізнатися більше
Генератор robots.txt: Контроль сканування вашого сайту пошуковими системами
Вивчіть синтаксис robots.txt, створіть правила для пошукових систем та ШІ-роботів.
Що таке robots.txt?
robots.txt — це звичайний текстовий файл, розміщений у корені вебсайту, який повідомляє веб-роботам, які сторінки або розділи вони повинні або не повинні відвідувати. Він дотримується Протоколу виключення роботів, стандарту, що використовується з 1994 року.
6 хв читанняЧитати повний посібник