Правило noindex легко додати, але так само легко застосувати неправильно. Головне питання — не «куди вставити тег», а «яким має стати URL і чи зможе робот отримати сторінку, щоб побачити директиву». Нижче — процес від рішення до перевіреного результату.
noindex, коли сторінка має залишатися доступною користувачам, але не повинна з’являтися в пошуку. Для перенесення, видалення, дублів і закритих даних потрібні інші механізми.Спочатку визначте очікуваний результат для URL
| Завдання | Основний механізм | Чому |
|---|---|---|
| Залишити сторінку доступною, прибрати з пошуку | noindex | Робот отримує URL і читає правило |
| Контент переїхав | 301/308 | Користувачі й сигнали переходять на заміну |
| Дубльований URL | Canonical | Указує бажану версію |
| Контент видалено без заміни | 404/410 | Статус чесно описує стан |
| Закрита інформація | Авторизація | Індексування не є контролем доступу |
| Керування навантаженням обходу | robots.txt | Обмежує отримання, але не гарантує видалення |
Правильно додайте robots meta tag
Для HTML-сторінки розмістіть правило в <head>:
<meta name="robots" content="noindex">Підтримувана директива називається noindex. Варіант <meta name="googlebot" content="noindex"> діє лише для Googlebot. Тег має бути в HTML, який отримує робот. Якщо фреймворк додає його лише після виконання JavaScript, надійніший серверний HTML або HTTP-заголовок.
Для PDF і серверних правил використовуйте X-Robots-Tag
Для PDF, зображень, завантажуваних файлів і централізованого налаштування повертайте заголовок:
HTTP/1.1 200 OK
X-Robots-Tag: noindexПеревіряйте фінальну відповідь після редиректів, CDN і кешу. Застосунок може віддавати правильну директиву, а граничний сервер — замінити або видалити її.
Не ховайте noindex за забороною robots.txt
Googlebot має отримати сторінку, щоб побачити meta robots або X-Robots-Tag. Якщо той самий URL заборонений у robots.txt, директива може залишитися непрочитаною, а відома за посиланнями адреса — зберегтися в пошуку без нормального сніпета.
noindex → дочекатися обробки → лише тоді переглядати обмеження обходу.Google не підтримує директиву noindex усередині robots.txt. Надмірне сканування досліджуйте окремо через статистику сканування Search Console.
Не додавайте nofollow автоматично
nofollow просить робота не переходити за посиланнями сторінки. Він не посилює видалення URL з індексу. У більшості завдань очищення достатньо noindex, а посилання корисно залишити доступними для виявлення.
<meta name="robots" content="noindex, follow">follow — поведінка за замовчуванням, тому писати його не обов’язково. Додавайте nofollow лише як окреме свідоме рішення.
Усуньте множинні та суперечливі директиви
Шаблон, SEO-плагін, CDN і налаштування конкретної сторінки можуть одночасно віддавати різні правила. Перевірте:
- вихідні HTTP-заголовки;
- сирий HTML відповіді для Googlebot;
- усі елементи
robotsіgooglebot; - мобільну, мовну, авторизовану й кешовану версії;
- відсутність поєднання
indexіnoindex.
Google підсумовує обмежувальні правила. Покладатися на порядок суперечливих директив не можна — це дефект публікації.
Перевіряйте noindex на рівні шаблонів
Перевірка однієї сторінки не виявить головну загрозу: спільний шаблон може закрити тисячі товарів, категорій або статей. Зберіть URL через краулер сайту і класифікуйте їх за шаблоном, статусом, доступністю для робота, canonical, HTML- і HTTP-директивами, sitemap та внутрішніми посиланнями.
Перевіряйте приклади в аналізаторі сторінки, порівнюйте очікувані виключення зі звітом індексування та розбирайте неочікувані через чекліст технічного SEO-аудиту.
Підтвердьте результат на чотирьох рівнях
| Рівень | Доказ | Умова успіху |
|---|---|---|
| Запит | Статус і ланцюг редиректів | Фінальний URL доступний потрібному роботу |
| Відповідь | Заголовки та сирий HTML | Присутня лише очікувана директива |
| Отримання Google | Перевірка URL | Googlebot побачив правило й не заблокований |
| Стан індексу | Звіт індексування | Оброблений стан відповідає політиці |
Нове правило подіє після повторного сканування. Інструмент видалення може тимчасово пришвидшити приховування, але не замінює постійного технічного рішення.
Знімайте noindex без пастки повторної індексації
Щоб повернути сторінку, видаліть директиву з усіх шарів, підтвердьте доступну відповідь 200, відновіть коректний canonical, sitemap і внутрішні посилання. Для критичних URL запитайте індексування та відстежуйте відновлення групи.
Не додавайте index, доки в заголовку залишається X-Robots-Tag: noindex: обмежувальне правило збережеться. Зв’язок стану й виявлення показано в кейсі діагностики групи URL.
Чекліст публікації та критерій готовності
- Цільовий стан URL і відповідальний записані.
- URL доступний роботу, якщо потрібно обробити
noindex. - HTML і заголовки віддають лише одне очікуване правило.
- Canonical, sitemap, hreflang і внутрішні посилання не суперечать рішенню.
- Перевірено представників кожного зачепленого шаблону.
- Перевірка URL показує фактичну відповідь Googlebot.
- Призначено дату й власника моніторингу.
Зберігайте рішення в системі SEO-доказів, а не лише у скриншоті завдання.
Офіційна документація
- Google: блокування індексування через noindex
- Google: robots meta tag і X-Robots-Tag
- Google: посібник із robots.txt
- MDN: заголовок X-Robots-Tag
FAQ
Чи можна записати noindex у robots.txt?
Ні. Google не підтримує таку директиву в robots.txt. Використовуйте meta robots або заголовок X-Robots-Tag.
Чи треба забороняти сканування noindex-сторінки?
Ні. Робот має отримати URL, щоб побачити директиву.
Чи видаляє noindex сторінку миттєво?
Ні. Пошуковику потрібно повторно просканувати й обробити URL.
Чи потрібно поєднувати noindex і nofollow?
Лише якщо ви окремо хочете заборонити перехід за посиланнями. Для видалення з індексу nofollow не потрібен.
Чи захищає noindex секретні дані?
Ні. Сторінка залишається доступною за адресою. Для закритої інформації потрібна авторизація.