Сканируемость (Crawlability)

Что такое сканируемость?

Сканируемость — насколько легко поисковые роботы (прежде всего Googlebot) могут получить доступ и перемещаться по сайту. Если Googlebot не может сканировать страницу, он не может её проиндексировать и ранжировать.

Типичные барьеры сканируемости

• Правила disallow в robots.txt
• Мета-теги noindex
• Страницы за авторизацией
• Навигация только через JavaScript
• Цепочки редиректов
• Ошибки сервера 5xx
• Медленный ответ сервера (TTFB >500 мс)
• Страницы-сироты без внутренних ссылок

Чеклист аудита сканируемости

1. Проверьте robots.txt на нежелательные disallow
2. GSC → Отчёт об индексировании → «Заблокировано robots.txt»
3. Скрейпинг Screaming Frog для выявления 4xx/5xx и цепочек
4. URL Inspection Tool в GSC для ключевых страниц
5. Убедитесь, что навигация — HTML <a href>, а не только JS

Техническое решение

Правильное применение	Доступный для обхода URL находится по разрешённым машиночитаемым ссылкам; crawlability сама по себе не означает индексацию.
Проверка	Проверьте robots, коды ответа, обнаружение ссылок и rendered anchors, затем подтвердите запросы Googlebot в логах или URL Inspection.

Первоисточники

• developers.google.com
• developers.google.com

Связанные понятия

Продолжите проверку по связанным темам: robots.txt, Ошибки сканирования (Crawl Errors), Краулинговый бюджет (Crawl Budget), Внутренняя перелинковка, Анализ лог-файлов (Log File Analysis).