Задание: Аудит краулинга и индексации

301 — сильный сигнал, что цель перенаправления нужно обрабатывать, а 302 — слабый URL с кодом 404 остаются в индексе, пока на них есть ссылки URL, устойчиво отдающие серверную ошибку, удаляются из индекса По умолчанию Google следует по цепочке перенаправлений до 10 звеньев Коды 401 и 403 подходят, чтобы ограничить скорость обхода