Задание: robots.txt и meta robots: подробный разбор

Чтобы noindex сработал, страница не должна быть закрыта в robots.txt Google поддерживает директиву Crawl-delay и соблюдает указанную паузу При конфликте правил в robots.txt действует самое специфичное по длине пути, а при равенстве — наименее строгое Ответ 5xx на robots.txt Google всегда воспринимает как отсутствие ограничений Для PDF и других файлов без head правила индексирования можно задать заголовком X-Robots-Tag