robots.txt: обход, а не индексирование

robots.txt управляет обходом сайта, а не его индексированием. Разница не academic: одной строкой в этом файле можно обнулить видимость сайта, а попытка убрать им страницу из поиска обычно не работает — и документация объясняет почему.

Урок построен по спецификации Google: введение в robots.txt и как Google интерпретирует файл. Второй документ читают редко, а в нём описано поведение, с которым сталкиваются все: кэширование, ответы сервера и лимиты.

Что делает robots.txt

robots.txt — текстовый файл в корне хоста: https://example.com/robots.txt. Он говорит добросовестным роботам, какие адреса можно и нельзя сканировать. Основная его задача, как её формулирует документация, — не перегружать сайт запросами.

Разница между обходом и индексированием — то, на чём спотыкаются чаще всего. Disallow запрещает роботу зайти на страницу. Но если на неё ссылаются с других сайтов, Google может проиндексировать сам адрес, не заходя на него: в выдаче появится ссылка без описания. Это прямо описано в документации и означает простую вещь — закрыв страницу от обхода, вы не убрали её из поиска, а лишь лишили Google возможности понять, что на ней.

Из этого же следует главная ловушка: если страница закрыта в robots.txt, робот не увидит на ней noindex. Два запрета, поставленные вместе, гасят друг друга. Термины — в глоссарии: robots.txt и noindex.

Базовый синтаксис

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /

Границы файла и лимиты

Три вещи из спецификации, которые экономят часы отладки.

Синтаксис целиком, с примерами директив и порядком применения правил, описан в руководстве по созданию файла.

Опасные строки

User-agent: *
Disallow: /

Эта комбинация закрывает от обхода весь сайт. Иногда её ставят на dev-версии и забывают убрать при релизе. Для SEO это один из самых быстрых способов обнулить видимость.

User-agent: *
Disallow:

Пустой Disallow означает: ничего не запрещено. Это не ошибка, но выглядит двусмысленно для неопытного человека. Для публичного сайта часто проще оставить только sitemap или явно документировать намерение комментарием.

User-agent: *
Disallow: /*?sort=
Disallow: /*?filter=

Паттерны помогают ограничивать мусорные параметры, но их нужно проверять на реальных URL. Одна широкая маска может случайно закрыть полезные фильтры, страницы пагинации или листинги, которые должны получать трафик.

Что происходит, когда файл недоступен

Про это не думают, пока не случится. А случается регулярно: сервер лёг, деплой сломал маршрут, CDN отдал ошибку. Поведение Google описано в спецификации и отличается для разных ответов.

И ещё одно, из-за чего кажется, что правка не сработала: Google кэширует содержимое файла обычно до суток. Убрав ошибочный Disallow: /, вы не увидите эффекта мгновенно — это нормально, а не повод править файл ещё раз.

Правило для noindex

Если цель — убрать страницу из поиска, не начинайте с Disallow. Оставьте страницу доступной для обхода и поставьте:

<meta name="robots" content="noindex">

Для файлов, у которых нет HTML — PDF, изображений — используется заголовок X-Robots-Tag. Оба способа и их синтаксис описаны в документации о мета-теге robots, а общий порядок удаления страницы — в руководстве о блокировке индексирования.

Последовательность важна: сначала дайте Google увидеть noindex и убрать адрес из индекса, и только потом, если нужно, ограничивайте обход. В обратном порядке страница останется в выдаче — без описания и без возможности это исправить.

Как проверить файл

Проверка занимает пять минут и делается тремя способами, от быстрого к точному.

1. Откройте /robots.txt в браузере. Файл отдаётся с кодом 200? Нет ли в нём Disallow: / для боевого сайта?
2. Посмотрите отчёт robots.txt в Search Console: какую версию файла Google видит сейчас и когда получил её. Здесь же видны ошибки разбора.
3. Проверьте конкретный адрес через инструмент проверки URL. Если причина — «Заблокировано в файле robots.txt», вы нашли проблему. Массово это делает аудит URL.

Сколько страниц выпало из индекса и почему, показывает отчёт об индексировании; расхождение между тем, что есть на сайте, и тем, что видит поиск, — разрыв охвата. Термины — в глоссарии: краулинговый бюджет и покрытие индекса.

Нормальный robots.txt для небольшого сайта

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /search

Sitemap: https://example.com/sitemap.xml

Практика: проверьте свой robots.txt

Пять шагов, десять минут:

1. Откройте https://ваш-домен/robots.txt. Прочитайте файл целиком — обычно это двадцать строк, и половина из них давно не нужна.
2. Выпишите каждую строку Disallow и ответьте, что именно она закрывает. Если ответа нет, строка кандидат на удаление.
3. Проверьте, не закрыты ли CSS, JS и изображения. Без них Google хуже понимает страницу — посмотрите её глазами робота через анализатор страницы.
4. Убедитесь, что ни одна страница с noindex не закрыта в robots.txt одновременно. Это самая частая пара ошибок, и она оставляет страницу в выдаче навсегда.
5. Проверьте поддомены: у каждого свой файл. Обход всего сайта покажет краулер, а состояние карты сайта — мониторинг sitemap.

Как понять, что с файлом всё в порядке

Признак не в том, что файл «правильный», а в том, что вы можете объяснить каждую его строку. Robots.txt — редкий случай, когда короткий файл лучше подробного: чем меньше правил, тем меньше способов случайно закрыть нужное.

Проверить себя можно тремя вопросами. Знаете ли вы, что закрывает каждая строка в вашем файле? Понимаете ли разницу между «не обходить» и «не индексировать»? Заметили бы вы Disallow: /, попавший на прод, в тот же день?

Чего ждать не стоит: что robots.txt уберёт страницу из поиска или защитит закрытый раздел. Файл публичный — любой может его открыть, — и перечисленные в нём пути видны всем. Секретные каталоги в нём не прячут, а рекламируют.

Что дальше

Это последний урок курса «Основы SEO». Если начинали не с начала, стоит вернуться к Google Search Console: почти каждая проверка из этого урока делается там. Предыдущий урок, про платформы и инструменты, — здесь.