robots.txt

Что такое robots.txt?

robots.txt — текстовый файл в корне сайта (например, example.com/robots.txt), сообщающий поисковым роботам, какие части сайта разрешено или запрещено сканировать. Он следует протоколу Robots Exclusion Protocol (REP), поддерживаемому Google, Bing и большинством других поисковиков.

Важно: robots.txt управляет сканированием, но не индексацией. Страница, заблокированная в robots.txt, всё равно может появиться в поиске, если на неё ссылаются другие сайты. Для запрета индексации используйте noindex.

Синтаксис robots.txt

User-agent: *           # Для всех роботов
Disallow: /admin/       # Запрет для /admin/
Disallow: /search?      # Запрет параметрических URL поиска

User-agent: Googlebot
Disallow: /staging/     # Запрет /staging/ только для Googlebot

Sitemap: https://example.com/sitemap.xml

Распространённые случаи использования

• Закрыть панели администратора (/admin/, /wp-admin/)
• Закрыть дублированные параметрические URL (?sort=, ?page=)
• Закрыть тестовые окружения
• Закрыть страницы внутреннего поиска
• Указать расположение файла Sitemap

Критические ошибки

• Блокировка CSS и JavaScript — мешает Google корректно рендерить страницы
• Случайная блокировка всего сайта — Disallow: / закрывает всё
• Путаница Disallow с noindex — Disallow запрещает лишь сканирование, не индексацию

Как применять в SEO

robots.txt управляет сканированием, но не гарантирует удаление URL из поиска. Не блокируйте CSS и JavaScript, необходимые для рендеринга, и не используйте robots.txt для защиты приватных данных.

Чек-лист проверки

• Убедитесь, что реализация соответствует назначению страницы и задаче пользователя.
• Проверяйте вместе HTTP-ответ, отрендеренный HTML, canonical, robots и внутренние ссылки.
• Подтверждайте результат данными Search Console и аналитики, а не единственным сигналом краулера.
• После деплоя протестируйте контрольный URL на мобильном и настольном устройстве.
• Запишите ожидаемый результат, чтобы следующая проверка сразу обнаружила регрессию.

Практический пример

Тестовая среда защищается авторизацией. Ловушки параметров блокируются только после проверки, что Google по-прежнему видит canonical-страницы и их ресурсы.

Как проверить результат

До изменения зафиксируйте состояние обхода, индексации, производительности и трафика. После деплоя повторно проверьте затронутый шаблон и контрольный URL, затем наблюдайте Search Console в течение следующего цикла обхода. Работа завершена, когда реальный ответ сайта совпадает с тем, что видит Google.

Первоисточник

Google Search Central / web.dev

Связанные понятия

Продолжите проверку по связанным темам: noindex, Краулинговый бюджет (Crawl Budget), Индексируемость (Indexability), XML-карта сайта (XML Sitemap).