Як пошукові системи знаходять сторінки
Як пошукові системи знаходять сторінки — це ланцюг із трьох різних кроків: виявлення, обхід та індексація. Їх часто плутають, а помилки в них лікуються по-різному. У цьому уроці — як Google знаходить адреси, чому обхід не гарантує індексації, де перетинаються robots.txt і noindex та кому насправді потрібно думати про краулінговий бюджет.
Спиратися будемо на посібник щодо краулінгового бюджету і на вступ до robots.txt.
Крок перший: як Google знаходить адреси
Два основні шляхи — посилання і карта сайту. За посиланнями Googlebot іде буквально: він розбирає відповідь і бере адреси з атрибута href у HTML-посиланнях, а посилання працює лише якщо це елемент a з атрибутом href. Карта сайту — другий канал, але не обовʼязковий: в огляді прямо сказано, що якщо вам не потрібні результати для відео, зображень чи новин, карта сайту може не знадобитися. Докладніше — в уроці про XML-карти.
Висновок для структури: сторінка, на яку веде хоча б одне звичайне посилання з уже відомого розділу, знаходиться надійніше, ніж сторінка, що існує лише в карті сайту. Що саме знайшов обхід за посиланнями, показує сканер сайту, а які сторінки нікуди не ведуть — аналіз внутрішніх посилань. Принципи структури розібрано в уроці про інформаційну архітектуру.
Крок другий: обхід — і що його обмежує
Google не обходить усе підряд: краулінговий бюджет сайту визначається двома складовими — межею пропускної здатності обходу і потребою в обході. Межа потрібна, щоб не перевантажувати сервер: вона враховує кількість паралельних зʼєднань і їхню тривалість. Потреба для Googlebot залежить від розміру сайту, частоти оновлень, якості та релевантності сторінок порівняно з іншими сайтами.
Бюджет рахується для хоста: піддомени розглядаються як окремі сайти з окремими бюджетами.
Кому це потрібно насправді
Найчастіше перебільшення в темі. Посібник Google призначений для вузького кола: сайти від мільйона унікальних сторінок із щотижневими змінами, сайти від 10 000 сторінок зі щоденними змінами та сайти, у яких велика частка адрес у Search Console позначена як «Виявлено — не проіндексовано». Там же застережено, що це груба оцінка, а не пороги. І ще: якщо сторінки обходяться в день публікації, читати цей посібник не потрібно — достатньо підтримувати карту сайту актуальною і регулярно дивитися звіт про індексацію.
Для сайту на кілька сотень сторінок «краулінговий бюджет» майже ніколи не причина проблем — причина в якості, дублях і структурі.
Крок третій: обхід не дорівнює індексації
У тому самому посібнику сказано: не кожна обійдена сторінка буде проіндексована — після обходу її оцінюють, консолідують і вирішують, чи підходить вона для індексу. У звіті про індексацію це два різні статуси, і їх потрібно розрізняти:
| Статус у звіті | Що означає | Що робити |
|---|---|---|
| Виявлено — не проіндексовано | Сторінку знайдено, але не обійдено: Google хотів обійти, але очікував перевантаження сайту і переніс обхід | Перевірити швидкість відповіді та обсяг зайвих адрес |
| Скановано — не проіндексовано | Сторінку обійдено, але не проіндексовано; її може бути проіндексовано пізніше, повторно надсилати не потрібно | Дивитися на якість і унікальність, а не на обхід |
Розбір за кожною адресою робить аудит URL.
Де перетинаються robots.txt і noindex
Це найдорожча плутанина в технічній частині. robots.txt потрібен головно, щоб не перевантажувати сайт запитами, і не є механізмом, який прибирає сторінку з Google. Щоб прибрати сторінку, використовують noindex або захист паролем.
А тепер звʼязка, на якій помиляються найчастіше. Правило noindex діє, лише якщо сторінка не заблокована в robots.txt і взагалі доступна обходчикові; інакше він ніколи не побачить правило, і сторінка все одно може потрапити в результати — наприклад, якщо на неї посилаються інші сторінки.
Стан правил дивляться у звіті про robots.txt. А якщо роботу для розуміння сторінки потрібні скрипти й стилі, їх блокувати не варто, інакше аналіз буде гіршим.
Що витрачає обхід намарно
| Проблема | Чому погано | Що робити |
|---|---|---|
| Фільтри й сортування як окремі адреси | Скінченний каталог перетворюється на безмежну множину URL; про це є окремий посібник | Вирішити, які комбінації потрібні пошуку; решту — не обходити |
| Посилання на 404 | Обхід витрачається на неіснуюче | Виправити посилання; знайти — 404 в органіці |
| Ланцюги редиректів | Кілька звернень замість одного | Вести посилання одразу на кінцеву адресу: перевірка редиректів |
| Повільний сервер | Падає межа пропускної здатності обходу | Дивитися звіт «Статистика сканування» |
| Застаріла карта сайту | Адреси, яких немає, і відсутні нові | Стежити через моніторинг sitemap |
Норми на кшталт «відповідь сервера швидша за 200 мс» чи «важлива сторінка не глибше чотирьох кліків» у документації Google не зустрічаються. Швидкість перевіряють за фактичною статистикою сканування, а досяжність сторінки — за наявністю змістовного шляху до неї, а не за кількістю кліків.
JavaScript і мобільний обходчик
Google обробляє JavaScript-застосунки у три фази: обхід, рендеринг, індексація, причому якщо адресу заборонено в robots.txt, Google пропускає запит і не рендерить JavaScript із заблокованих сторінок. Посилання, яких немає в HTML і які зʼявляються лише після дії користувача, лишаються сліпою плямою.
Обходчиків два: Googlebot Smartphone і Googlebot Desktop, обидва підпорядковуються одному токену в robots.txt, тому вибірково заборонити лише один не можна. Для більшості сайтів пошук здебільшого індексує мобільну версію, і більшість запитів обходу робиться мобільним обходчиком. Отже, посилання і контент, яких немає в мобільній версії, для Google фактично відсутні.
Діагностика за кроками
- Чи виявлено сторінку? Чи є звичайне посилання і запис у карті сайту.
- Чи обійдено? Чи не закрита в robots.txt, чи відповідає сервер, чи видно в статистиці сканування.
- Чи проіндексовано? Чи немає noindex, чи не дубль, чим відрізняється по суті.
- Чи збігаються сигнали? Disallow і noindex не мають бути на одній сторінці.
Помилки
- Закривати сторінку через Disallow, щоб прибрати її з пошуку.
- Ставити Disallow і noindex одночасно.
- Розвʼязувати проблему «краулінгового бюджету» на сайті, де сторінки обходяться в день публікації.
- Вважати, що наявність у карті сайту гарантує індексацію.
- Повторно надсилати одну й ту саму сторінку замість того, щоб розібратися, чому вона не індексується.
- Перевіряти лише десктопну версію.
Що далі
Наступний урок — про карту сайту: що вона реально робить і що в ній має бути, а чого не має.