Правило noindex легко добавить, но так же легко применить неправильно. Главный вопрос — не «куда вставить тег», а «каким должен стать URL и сможет ли робот получить страницу, чтобы увидеть директиву». Ниже — процесс от решения до проверяемого результата.
noindex, когда страница должна оставаться доступной пользователям, но не должна показываться в поиске. Для переноса, удаления, дублей и закрытых данных нужны другие механизмы.Сначала определите ожидаемый результат для URL
| Задача | Основной механизм | Почему |
|---|---|---|
| Оставить страницу доступной, убрать из поиска | noindex | Робот получает URL и считывает правило |
| Контент переехал | 301/308 | Пользователи и сигналы переходят на замену |
| Дублирующий URL | Canonical | Указывает предпочтительную версию |
| Контент удалён без замены | 404/410 | Статус честно описывает состояние |
| Закрытая информация | Авторизация | Индексирование не является контролем доступа |
| Управление нагрузкой обхода | robots.txt | Ограничивает получение, но не гарантирует удаление |
Правильно добавьте robots meta tag
Для HTML-страницы поместите правило в <head>:
<meta name="robots" content="noindex">Поддерживаемая директива называется noindex. Вариант <meta name="googlebot" content="noindex"> действует только для Googlebot. Тег должен присутствовать в HTML, который получает робот. Если фреймворк добавляет его только после выполнения JavaScript, надёжнее серверный HTML или HTTP-заголовок.
Для PDF и серверных правил используйте X-Robots-Tag
Для PDF, изображений, скачиваемых файлов и централизованной настройки возвращайте заголовок:
HTTP/1.1 200 OK
X-Robots-Tag: noindexПроверяйте финальный ответ после редиректов, CDN и кеша. Приложение может отдавать правильную директиву, а пограничный сервер — заменить или удалить её.
Не прячьте noindex за запретом robots.txt
Googlebot должен получить страницу, чтобы увидеть meta robots или X-Robots-Tag. Если тот же URL запрещён в robots.txt, директива может остаться непрочитанной, а известный по ссылкам адрес — сохраниться в поиске без нормального сниппета.
noindex → дождаться обработки → только затем пересматривать ограничения обхода.Google не поддерживает директиву noindex внутри robots.txt. Избыточное сканирование исследуйте отдельно через статистику сканирования Search Console.
Не добавляйте nofollow автоматически
nofollow просит робота не переходить по ссылкам страницы. Он не усиливает удаление URL из индекса. В большинстве задач очистки достаточно noindex, а ссылки полезно оставить доступными для обнаружения.
<meta name="robots" content="noindex, follow">follow — поведение по умолчанию, поэтому писать его необязательно. Добавляйте nofollow только как отдельное осознанное решение.
Устраните несколько и конфликтующие директивы
Шаблон, SEO-плагин, CDN и настройка конкретной страницы могут одновременно отдавать разные правила. Проверьте:
- исходные HTTP-заголовки;
- сырой HTML ответа для Googlebot;
- все элементы
robotsиgooglebot; - мобильную, языковую, авторизованную и кешированную версии;
- отсутствие сочетания
indexиnoindex.
Google суммирует ограничивающие правила. Полагаться на порядок конфликтующих директив нельзя — это дефект публикации.
Проверяйте noindex на уровне шаблонов
Проверка одной страницы не обнаружит главную угрозу: общий шаблон способен закрыть тысячи товаров, категорий или статей. Соберите URL через краулер сайта и классифицируйте их по шаблону, статусу, доступности для робота, canonical, HTML- и HTTP-директивам, sitemap и внутренним ссылкам.
Проверяйте примеры в анализаторе страницы, сравнивайте ожидаемые исключения с отчётом индексирования и разбирайте неожиданные через чек-лист технического SEO-аудита.
Подтвердите результат на четырёх уровнях
| Уровень | Доказательство | Условие успеха |
|---|---|---|
| Запрос | Статус и цепочка редиректов | Финальный URL доступен нужному роботу |
| Ответ | Заголовки и сырой HTML | Присутствует только ожидаемая директива |
| Получение Google | Проверка URL | Googlebot увидел правило и не заблокирован |
| Состояние индекса | Отчёт индексирования | Обработанное состояние соответствует политике |
Новое правило подействует после повторного сканирования. Инструмент удаления может временно ускорить скрытие, но не заменяет постоянное техническое решение.
Снимайте noindex без ловушки повторной индексации
Чтобы вернуть страницу, удалите директиву из всех слоёв, подтвердите доступный ответ 200, восстановите корректный canonical, sitemap и внутренние ссылки. Для критичных URL запросите индексирование и отслеживайте восстановление группы.
Не добавляйте index, пока в заголовке остаётся X-Robots-Tag: noindex: ограничивающее правило сохранится. Связь состояния и обнаружения показана в кейсе диагностики группы URL.
Чек-лист публикации и критерий готовности
- Целевое состояние URL и ответственный записаны.
- URL доступен роботу, если нужно обработать
noindex. - HTML и заголовки отдают только одно ожидаемое правило.
- Canonical, sitemap, hreflang и внутренние ссылки не противоречат решению.
- Проверены представители каждого затронутого шаблона.
- Проверка URL показывает фактический ответ Googlebot.
- Назначены дата и владелец мониторинга.
Храните решение в системе SEO-доказательств, а не только в скриншоте задачи.
Официальная документация
- Google: блокировка индексирования через noindex
- Google: robots meta tag и X-Robots-Tag
- Google: руководство по robots.txt
- MDN: заголовок X-Robots-Tag
FAQ
Можно ли записать noindex в robots.txt?
Нет. Google не поддерживает такую директиву в robots.txt. Используйте meta robots или заголовок X-Robots-Tag.
Нужно ли запрещать сканирование noindex-страницы?
Нет. Робот должен получить URL, чтобы увидеть директиву.
Удаляет ли noindex страницу мгновенно?
Нет. Поисковику нужно повторно просканировать и обработать URL.
Нужно ли сочетать noindex и nofollow?
Только если вы отдельно хотите запретить переход по ссылкам. Для удаления из индекса nofollow не нужен.
Защищает ли noindex секретные данные?
Нет. Страница остаётся доступной по адресу. Для закрытой информации нужна авторизация.