У цій статті
Що таке robots.txt?
robots.txt — це звичайний текстовий файл, розміщений у корені вебсайту, який повідомляє веб-роботам, які сторінки або розділи вони повинні або не повинні відвідувати. Він дотримується Протоколу виключення роботів, стандарту, що використовується з 1994 року.
Коли робот відвідує ваш сайт, він спочатку перевіряє файл robots.txt. Файл містить директиви, що вказують, які агенти можуть отримати доступ до яких шляхів. robots.txt є рекомендаційним — добросовісні роботи його поважають, але зловмисні боти можуть ігнорувати.
Синтаксис robots.txt
Файл robots.txt використовує простий синтаксис на основі директив:
- User-agent — вказує, якого робота стосуються правила. Використовуйте * для всіх роботів
- Disallow — блокує доступ до певного шляху
- Allow — явно дозволяє доступ до шляху
- Sitemap — вказує URL вашої XML-карти сайту
- Crawl-delay — пропонує затримку між послідовними запитами
Підтримуються символи підстановки: * відповідає будь-якій послідовності символів, а $ — кінцю URL.
Поширені шаблони robots.txt
Найкорисніші конфігурації robots.txt:
- Дозволити все — порожня директива Disallow дозволяє повне сканування
- Блокувати все — Disallow: / блокує всіх роботів
- Блокувати ШІ-роботів — цілитися на конкретних ШІ-ботів з User-agent: GPTBot
- Дозволити лише Google — комбінуйте блоки для Googlebot та інших агентів
- Захистити адмін-шляхи — Disallow: /admin/, /api/
Спробуйте безкоштовно — реєстрація не потрібна
Згенерувати robots.txt →Поширені випадки використання
Правильно налаштований robots.txt виконує кілька важливих функцій:
- SEO-оптимізація — запобігання сканування дубльованого контенту
- Блокування скраперів — стримування ботів для збору контенту та навчання ШІ
- Захист тестових середовищ — блокування всіх роботів на staging-серверах
- Управління бюджетом сканування — блокування малоцінних сторінок
robots.txt та SEO
robots.txt безпосередньо впливає на те, як пошукові системи знаходять ваш контент:
- Блокування не означає деіндексацію — використовуйте мета-тег noindex
- Завжди включайте карту сайту — додайте директиву Sitemap
- Не блокуйте CSS або JavaScript — пошукові системи потребують їх для рендерингу
- Типові помилки — випадкове блокування цілих каталогів може зашкодити SEO
Часті запитання
robots.txt обов'язковий чи лише рекомендаційний?
robots.txt повністю рекомендаційний. Для конфіденційного контенту використовуйте серверний контроль доступу.
Як перевірити файл robots.txt?
Google Search Console має тестер robots.txt. Також можна використовувати онлайн-валідатори.
Чи поважає Google Crawl-delay в robots.txt?
Ні, Google не підтримує Crawl-delay. Використовуйте налаштування швидкості сканування в Google Search Console. Bing поважає Crawl-delay.