Аудит краулинга и индексации
Аудит краулинга и индексации — это проверка того, могут ли поисковые роботы дойти до важных страниц и получить от них то, что нужно. Это первый блок любого аудита, потому что он отвечает на самый дешёвый и самый важный вопрос: подходит ли страница под требования, по которым Google её вообще рассматривает. Ниже — что означают коды ответа в терминах Google, что проверять в краулере и в отчёте об индексировании и какие выводы из этого делать. Структура проверок — практика, а ответы на «что будет с кодом N» взяты из документации.
Основа — справка Google о кодах HTTP и сетевых ошибках, перенаправлениях и отчёте об индексировании страниц. Общий порядок аудита — в уроке про систему аудита.
Что означают коды ответа для Google
| Код | Как поступает Google | Что делать |
|---|---|---|
| 200 | передаёт полученное в индексацию; индексировать может, но не обязан | норма; но если на странице сообщение об ошибке, будет soft 404 |
| 301, 308 | следует перенаправлению; цель — сильный сигнал обработки | заменить внутренние ссылки на конечный адрес |
| 302, 307 | следует по умолчанию, но цель — слабый сигнал | убедиться, что перенаправление действительно временное |
| 4xx (кроме 429) | не индексирует такие URL; уже проиндексированные удаляет; частота обхода постепенно снижается | для удалённого контента 404 или 410 нормальны; для важных страниц восстановить или перенаправить |
| 429 | воспринимается как сигнал перегрузки сервера и считается серверной ошибкой | проверить нагрузку |
| 5xx | Google временно замедляет обход; проиндексированные URL пока сохраняются, но со временем исключаются; устойчивые ошибки приводят к удалению из индекса | срочно разобраться с сервером; после восстановления скорость обхода растёт постепенно |
Из таблицы следуют три поправки к привычным представлениям:
- «301 передаёт вес, 302 нет» — не то, как это описано. 301 — сильный сигнал, что цель надо обрабатывать, 302 — слабый; а постоянные перенаправления не приводят к потере PageRank. Подробнее — в уроке про редиректы;
- «503: Google может разиндексировать» верно лишь для устойчивой ошибки: при единичном сбое индексированные адреса сохраняются;
- 401 и 403 не используют для ограничения скорости обхода: на неё влияют только 429 и 5xx; 4xx на скорость не влияют.
Что проверять в краулере
- Адреса с 4xx и 5xx. Какие из них важны, откуда на них ведут ссылки. Не каждый 404 — проблема: удалённую страницу нормально отдавать 404. Проблема — 404 у страницы, которая должна существовать, и внутренние ссылки на несуществующее;
- Soft 404. Это когда сервер отвечает 2xx, но содержимое страницы — пустая страница или сообщение об ошибке; Search Console покажет soft 404. Не перенаправляйте много старых адресов на одну нерелевантную страницу, например главную: это тоже может расцениваться как soft 404;
- Цепочки и циклы перенаправлений. Googlebot следует по умолчанию до 10 перенаправлений, но лучше вести сразу на конечный адрес: цепочки добавляют задержку для пользователей. Проверить — проверкой редиректов;
- noindex на важных страницах. Критическая и лёгкая для совершения ошибка. Чтобы noindex сработал, страница не должна быть заблокирована в robots.txt;
- Блокировки robots.txt. Закрытые CSS и JavaScript мешают Google: он хуже анализирует страницы, зависящие от этих ресурсов. См. урок про robots.txt и meta robots;
- Страницы-сироты. Google находит страницы по ссылкам и из карт сайта. Страница без внутренних ссылок «невидима» не обязательно: если она есть в карте сайта, Google узнает о ней. Но надёжнее давать ей обычные ссылки в элементах a с href. См. урок про карты сайта;
- Дубликаты и канонические адреса. Варианты с параметрами, www и без, HTTP и HTTPS: урок про canonical.
Что смотреть в Search Console
В отчёте об индексировании страниц видны состояние адресов и причины исключения. Не всё в нём — проблема: статус «Дубликат без выбранного пользователем канонического URL» — не ошибка, а работа по замыслу. Новые 404 после обновления CMS или редизайна видны в этом же отчёте; массово разобрать адреса поможет аудит URL, а 404 с органическим трафиком — отчёт по органическим 404. Внутренние ссылки, которые стоит добавить первыми, показывает аудит внутренних ссылок. Обход всего сайта — краулер.
Про «краулинговый бюджет»: по документации Google, он имеет смысл в первую очередь для очень больших сайтов; для небольших ограничения обхода обычно не причина проблем. Подробнее — в уроке про обходимость.
Чего в документации нет
- Утверждения, что 301 «передаёт ссылочный вес», а 302 нет;
- «Страницы-сироты невидимы для Googlebot»: Google находит страницы и по картам сайта;
- «Цепочки замедляют краулинг» как формулы; названа задержка для пользователей и предел в 10 звеньев;
- обязательного числа проблем или нормы «хороший аудит за 30 минут».
Чек-лист
- Важные страницы отдают 200 и не содержат сообщений об ошибке.
- Удалённый контент отдаёт 404 или 410, а не 200 и не перенаправление на главную.
- Цепочек и циклов перенаправлений нет; внутренние ссылки ведут на конечные адреса.
- На важных страницах нет noindex и блокировок в robots.txt.
- CSS и JavaScript, нужные для отображения, открыты для Google.
- У важных страниц есть обычные внутренние ссылки и они есть в карте сайта.
- Ошибки 5xx и 429 разобраны: они замедляют обход.
Ошибки
- Считать любой 404 проблемой и лечить его перенаправлением на главную.
- Использовать 401 и 403 для ограничения скорости обхода.
- Закрывать в robots.txt страницы, на которых стоит noindex.
- Закрывать CSS и JavaScript.
- Оставлять внутренние ссылки на адреса с перенаправлением.
Что дальше
Дальше — контентный аудит: когда страницы доступны и проиндексированы, проверяем, дают ли они то, что нужно читателю.