Краулинговый бюджет (Crawl Budget)
Краулинговый бюджет — количество URL-адресов, которые Googlebot обходит на сайте за определённый период. Правильное управление им обеспечивает эффективную индексацию важных страниц.
Проверил Alexander Yarovenko · Обновлено: 2026-09-18
Что такое краулинговый бюджет?
Краулинговый бюджет — количество страниц, которые Googlebot обходит на вашем сайте за определённый период. Он определяется двумя факторами:
- Лимит скорости сканирования — насколько быстро Googlebot может сканировать, не перегружая ваш сервер
- Спрос на сканирование — популярность URL (ссылки, трафик) и частота изменений
Краулинговый бюджет важен прежде всего для крупных сайтов (100 000+ страниц). Небольшие сайты, как правило, полностью сканируются независимо от бюджета.
Расточители краулингового бюджета
- Дублированный контент — множество URL с одинаковым содержанием (параметрические URL, session ID)
- Цепочки редиректов — каждый переход расходует бюджет
- Мягкие 404 — страницы, возвращающие 200 OK, но показывающие «страница не найдена»
- Страницы низкого качества — тонкий контент, автоматически сгенерированные страницы, фасетная навигация
- Заблокированные ресурсы — JS/CSS, закрытые в robots.txt, мешают корректному рендерингу
- Бесконечные пространства — страницы календаря, комбинации фильтров, параметры сессий
Как оптимизировать краулинговый бюджет
- Используйте
robots.txtдля блокировки малоценных разделов - Добавьте
noindexтонким или дублированным страницам - Исправьте цепочки редиректов — направьте все редиректы прямо на конечный URL
- Реализуйте canonical-теги на дублированных вариантах контента
- Держите XML Sitemap чистым — только индексируемые канонические URL
- Улучшите время ответа сервера — быстрые серверы позволяют сканировать больше
Интернет-магазин на 4000 товаров генерил из фильтров около 120 000 URL вида /catalog?color=red&size=42&sort=price. По логам Яндекс-бот тратил 70% обходов на эти комбинации, а свежие карточки попадали в индекс через 3–4 недели. Закрыли параметры через Clean-param и robots.txt — за месяц доля обходов товарных страниц выросла с 18% до 61%, среднее время индексации новинки упало до 2–3 дней.
Как применять в SEO
Краулинговый бюджет особенно важен для крупных или часто обновляемых сайтов. Экономьте его, устраняя бесконечные пространства URL, цепочки редиректов, 5xx, дубли параметров и малоценные страницы.
Чек-лист проверки
- Убедитесь, что реализация соответствует назначению страницы и задаче пользователя.
- Проверяйте вместе HTTP-ответ, отрендеренный HTML, canonical, robots и внутренние ссылки.
- Подтверждайте результат данными Search Console и аналитики, а не единственным сигналом краулера.
- После деплоя протестируйте контрольный URL на мобильном и настольном устройстве.
- Запишите ожидаемый результат, чтобы следующая проверка сразу обнаружила регрессию.
Практический пример
Логи показывают, что Googlebot тратит большинство запросов на фасетные URL. Сайт ограничивает эти пути и усиливает ссылки на canonical-категории и обновлённые материалы.
Как проверить результат
До изменения зафиксируйте состояние обхода, индексации, производительности и трафика. После деплоя повторно проверьте затронутый шаблон и контрольный URL, затем наблюдайте Search Console в течение следующего цикла обхода. Работа завершена, когда реальный ответ сайта совпадает с тем, что видит Google.