📊
БЕСПЛАТНО
+50 XP
Аудит краулинга и индексации
🕷️
Screaming Frog закончил краулинг
«14 страниц отдают 404. 3 важные страницы закрыты в robots.txt. 7 страниц имеют redirect chain из 3+ прыжков. Краулинговый аудит за 30 минут — и уже есть работа на месяц.»
📌 Crawl audit — проверка того, как поисковые роботы обходят и индексируют сайт. Цель: убедиться что важные страницы доступны, а лишние — закрыты.
Ключевые проверки crawl-аудита
- Страницы с 4xx/5xx ошибками — сломанные или недоступные страницы
- Redirect chains и loops — цепочки редиректов замедляют краулинг
- Noindex на важных страницах — критическая ошибка, которую легко сделать
- Страницы в robots.txt Disallow — проверь, не закрыт ли CSS/JS нужный Google
- Orphan pages — страницы без внутренних ссылок, невидимые для Googlebot
- Дубли (canonical) — URL с параметрами, www/без www, http/https
HTTP-коды в краулинге
| Код | Значение | Действие |
|---|---|---|
| 200 | Всё ОК | Норма |
| 301 | Постоянный редирект | Обновить внутренние ссылки |
| 404 | Страница не найдена | Восстановить или редиректнуть |
| 503 | Сервер недоступен | Срочно — Google может разиндексировать |
🎯 Совет: настрой мониторинг 404-ошибок в GSC → Indexing → Pages. Новые 404 часто появляются после обновления CMS или редизайна.
🎮 Проверь себя: какой HTTP-код означает постоянное перемещение страницы?
Задание к уроку
Проверьте понимание и получите +20 XP