robots.txt
robots.txt — файл у корені сайту, який керує правилами сканування для пошукових роботів.
Перевірив Олександр Яровенко · Оновлено: 2026-09-18
robots.txt — robots.txt — файл у корені сайту, який керує правилами сканування для пошукових роботів.
SEO-значення
Він не гарантує видалення з індексу. Для деіндексації частіше потрібні noindex, canonical, 404/410 або редирект.
Що перевіряти
- чи поняття коректно застосоване на важливих сторінках;
- чи немає технічних, контентних або аналітичних суперечностей;
- чи впливає це на індексацію, видимість, CTR, довіру або конверсії;
- чи можна підтвердити висновок даними з GSC, GA4, краулера або SERP-аналізу.
Як застосовувати в SEO
robots.txt керує скануванням, але не гарантує видалення URL з пошуку. Не блокуйте CSS і JavaScript для рендерингу та не захищайте цим файлом приватні дані.
Чекліст перевірки
- Переконайтеся, що реалізація відповідає призначенню сторінки та задачі користувача.
- Перевіряйте разом HTTP-відповідь, відрендерений HTML, canonical, robots і внутрішні посилання.
- Підтверджуйте результат даними Search Console та аналітики, а не одним сигналом краулера.
- Після деплою протестуйте контрольну URL на мобільному й настільному пристрої.
- Запишіть очікуваний результат, щоб наступна перевірка одразу виявила регресію.
Практичний приклад
Тестове середовище захищають авторизацією. Параметричні пастки блокують лише після перевірки доступності canonical-сторінок і ресурсів.
Як перевірити результат
До зміни зафіксуйте стан обходу, індексації, продуктивності й трафіку. Після деплою повторно перевірте шаблон і контрольну URL, а далі стежте за Search Console протягом наступного циклу обходу. Роботу завершено, коли відповідь сайту збігається з тим, що бачить Google. Зберігайте дату перевірки та висновок у журналі аудиту.